Dębówka powstała na krótko przed 1451 rokiem. Jednak pierwotnie nie nazywano ją w ten sposób. Ziemia ta należała do dziedziców Wiązownicy i podczas lokowania miasta Radziłowa część ich dóbr włączono do miasta. Z tego powodu książę Władysław dnia 2 III 1451 roku nadał niejakiej Dorocie i jej dzieciom: Andrzejowi, Machnie, Jadwidze i Dorocie
z Wiązownicy przywilej posiadania 1 włóki wolnej od wszelkich podatków i danin na terenie miasta. Ziemia ta miała należeć do księcia, ale miała być zamieszkała przez szlachtę
i zwolniona z czynszów. Reszta ziemi, czyli 3 włóki, nadal należała na normalnych prawach do rycerzy z Wiązownicy. Z czasem te grunty przeszły na rycerzy z rodu Konopków.
W czasie lustracji dóbr królewskich Radziłów zapisano „ślachcic jeden, którego zowią Dębówka, trzyma tam włókę wolną od wszelakich podatków według przywileju książęcego” . Zatem ten obszar nadal zamieszkiwali szlachcice. Od imienia (przezwiska) tego rycerza zaczęto nazywać ten obszar Dębówką.
Spis podatkowy z 1577 roku nazywa tę wioskę Dembowka Konopki. Liczyła ona ówcześnie już 8 włók, ale nie zapisano czy dotyczyło to również owej 1 włóki w granicach miasta. Była to siedziba drobnej szlachty .
W 1581 roku tę jedną włókę w granicach miasta posiadał Mateusz Dębówka
z braćmi . Na początku XVII wieku ta ziemia przeszła na (dzierżawa) Pawła Zakrzewskiego, rycerza-weterana. Zakrzewscy użytkowali ją przez pewien czas i następnie przejęli ją Rakowscy. To właśnie oni są zapisani jako dziedzice całej Dębówki w końcu XVIII wieku .
Na przełomie XVIII i XIX wieku była to bardzo maleńka wioska, w 1827 roku liczyła zaledwie 1 dom i 8 mieszkańców. Należała do województwa augustowskiego, obwodu augustowskiego i powiatu biebrzańskiego .
Dane z końca XIX wieku informują o wsi w powiecie kolneńskim, w gminie Kubra
i parafii Radziłów .
Spis powszechny z 1921 roku zapisał wieś Dębówka w gminie Przytuły liczącą
9 domów i 58 mieszkańców .
19-213 Radziłów, Plac 500-lecia 14
tel. 0-86 273-71-10, fax 0-86 273-71-11