Tam to w roku 1294 postawiono na nowo domek, który według tradycji był nazaretańskim domem Świętej Rodziny. Użyto kamieni uratowanych z Ziemi Świętej przez rodzinę o symbolicznym wręcz nazwisku – Angelli – po włosku Aniołowie. Z pomocą kanclerza Jerzego Ossolińskiego, który miał ślubować wystawienie Domku Loretańskiego Matce Bożej w Gołębiu, postawiono ten obiekt w latach trzydziestych siedemnastego wieku. On też przywiózł z Italii figurę Matki Boskiej, a Izabella Ossolińska uszyła dla tej figury dwie sukienki. Domek ma konstrukcję o podwójnych murach. Zdobny mur zewnętrzny ma chronić właściwy Domek św. Rodziny. Tegoż wnętrze oświetla małe okienko w którym miał pojawić się anioł podczas Zwiastowania. Domek wewnętrzny jest podzielony, zgodnie z tradycją na część jakoby prywatną i część dostępną dla wiernych. Pod domkiem jest sklepiona krypta z wejściem zewnętrznym pod ścianą zachodnią.