Dębówka powstała na krótko przed 1451 rokiem. Jednak pierwotnie nie nazywano ją w ten sposób. Ziemia ta należała do dziedziców Wiązownicy i podczas lokowania miasta Radziłowa część ich dóbr włączono do miasta. Z tego powodu książę Władysław dnia 2 III 1451 roku nadał niejakiej Dorocie i jej dzieciom: Andrzejowi, Machnie, Jadwidze i Dorocie
z Wiązownicy przywilej posiadania 1 włóki wolnej od wszelkich podatków i danin na terenie miasta. Ziemia ta miała należeć do księcia, ale miała być zamieszkała przez szlachtę
i zwolniona z czynszów. Reszta ziemi, czyli 3 włóki, nadal należała na normalnych prawach do rycerzy z Wiązownicy. Z czasem te grunty przeszły na rycerzy z rodu Konopków.
W czasie lustracji dóbr królewskich Radziłów zapisano „ślachcic jeden, którego zowią Dębówka, trzyma tam włókę wolną od wszelakich podatków według przywileju książęcego”[1]. Zatem ten obszar nadal zamieszkiwali szlachcice. Od imienia (przezwiska) tego rycerza zaczęto nazywać ten obszar Dębówką.
Spis podatkowy z 1577 roku nazywa tę wioskę Dembowka Konopki. Liczyła ona ówcześnie już 8 włók, ale nie zapisano czy dotyczyło to również owej 1 włóki w granicach miasta. Była to siedziba drobnej szlachty[2].
W 1581 roku tę jedną włókę w granicach miasta posiadał Mateusz Dębówka
z braćmi[3]. Na początku XVII wieku ta ziemia przeszła na (dzierżawa) Pawła Zakrzewskiego, rycerza-weterana. Zakrzewscy użytkowali ją przez pewien czas[4] i następnie przejęli ją Rakowscy. To właśnie oni są zapisani jako dziedzice całej Dębówki w końcu XVIII wieku[5].
Na przełomie XVIII i XIX wieku była to bardzo maleńka wioska, w 1827 roku liczyła zaledwie 1 dom i 8 mieszkańców. Należała do województwa augustowskiego, obwodu augustowskiego i powiatu biebrzańskiego[6].
Dane z końca XIX wieku informują o wsi w powiecie kolneńskim, w gminie Kubra
i parafii Radziłów[7].
Spis powszechny z 1921 roku zapisał wieś Dębówka w gminie Przytuły liczącą
9 domów i 58 mieszkańców[8].
[1] Lustracja województwa mazowieckiego 1565, część II, Warszawa 1968, s. 56.
[2] Źródła Dziejowe……, s. 359.
[3] Wiśniewski J, Dzieje osadnictwa w powiecie grajewski do połowy XVI wieku [w:] Studia i meteriały do dziejów powiatu grajewskiego, tom I, Warszawa 1975, s. 135.
[4] Tamże.
[5] Regestr Diecezjów……, s. 649.
[6] Tabella miast i wsi….., tom I, s. 98.
[7] Słownik Geograficzny….., tom II, s. 27.
[8] Skorowidz miejscowości…., s. 46.