Kaplica Aniołów Stróżów ma w sobie dużo wdzięku. Subtelna, sześcioboczna bryła, zwieńczona kształtnym dachem z latarnią, doświetlona okrągłymi okienkami - okulusami, posiadająca w ścianach ciekawe nisze, od przechodniów oddzielona jest dość paskudnym płotem. Mimo, że dość trudno dostępna i praktycznie niewykorzystana, jest jednym z najciekawszych obiektów na całym Południowym Podlasiu.
Kiedy dzięki rodzinie Cybulków w XV wieku z Koziego Rynku powstawało wyposażone w zameczek założenie miejskie, musiał powstać też pierwszy kościół. Nosił wezwanie Trójcy Świętej a zbudowano go ok. 1470 roku na południe od fortalicji. Druga, również drewniana świątynia, parafialna, pierwotnie pw. Zwiastowania Najświętszej Marii Pannie, została wzniesiona w 1523 roku tam, gdzie stoi dzisiaj kościół Trójcy Świętej. W połowie stulecia, na fali reformacji, obie przechodzą w ręce protestantów, których protektorem jest ówczesny pan Radzynia, Jan Kaznowski. Chować się każe w Trójcy Świętej, co w gruncie rzeczy przesądza o jej losach. Dokonana w 1602 roku wizytacja biskupia podaje, że fakt pochowania heretyka profanuje miejsce. Głównym ośrodkiem życia religijnego staje się młodsza świątynia. Oddany do użytku w 1644 roku, imponujący i dzisiaj, wzniesiony na miejscu dawnego Zwiastowania kościół przejmuje najdawniejsze wezwanie Trójcy. W tym też mniej-więcej czasie, na miejscu najstarszego kościoła, zostaje wymurowana kapliczka z wezwaniem Aniołów Stróżów. Kiedy sześć lat temu odkryto na ścianach autografy budowniczych, powstało przypuszczenie, że robotę powierzono tej samej ekipie, dowodzonej przez renomowanego Jana Wolffa, która wykańczała też główną świątynię. Można więc śmiało założyć, że mamy do czynienia z jednolitym konceptem architektonicznym.
Podlaskie Anioły
Bardzo popularny jeszcze w okresie nowożytnym kult Aniołów w chrześcijaństwie zachodnim ulega osłabieniu. W diecezji siedleckiej jest tylko kilka parafii z wezwaniami anielskimi: są to poświęcone Archaniołowi Michałowi Witulin, Witoroż, Woskrzenice i Biała Podlaska. Wszystkie one jednak są zgrupowane w części wschodniej diecezji i dziedziczą tradycję unicką. Grekokatolicy i prawosławni częściej przyjmują wezwania anielskie z dość prostego powodu: żeby na Zachodzie powstał kult, potrzebne są relikwie, na Wschodzie wystarczy ikona. Co zaś do relikwi anielskich jedyna jaką szerzej kojarzymy, to pióro uronione przez Archanioła Gabriela w trakcie Zwiastowania, który to przedmiot w "Krzyżakach" Sienkiewicza cwaniaczek Sanderus chciał sprzedać panom z Bogdańca.
Kaplica została wyremontowana w latach 2009 - 2011. Przy tej okazji odkryto na jej ścianach pochodzące z XVII wieku napisy i fragmenty polichromii. Obiekt obecnie znajduje się na terenie Specjalnego Ośrodka Szkolno - Wychowawczego im. Zofii Sękowskiej, który od kilku lat organizuje m.in. Dni z Aniołami. Nie pełni żadnej funkcji sakralnej. Ze zgłaszanych propozycji najbardziej przemawia do wyobraźni pomysł, by urządzić w nim Galerię Jednego Obrazu - oczywiście zmienianego np. raz na kwartał...