Dom Aleksandryjski wybudowano ok. lat 1801-1805 dla cara Aleksandra I na potrzeby mieszkalno-noclegowe podczas jego wizyt w Puławach. Odwiedził je w 1805, 1814 i 1818 r. Później pomieszkiwali tu inni zacni goście. Gdy w pałacu ks. Czartoryskich w latach 40. XIX w. znajdował się Instytut Aleksandryjski Wychowania Panien     w Domu Żółtym mieszkała przełożona Instytutu Anastazja Zenaida Groten. W okresie późniejszym od ok. 1871 r. mieszkał w nim ksiądz prawosławny, który sprawował posługę kapłańską w cerkwi pw. Opieki Matki Boskiej, usytuowanej w palcu ks. Czartoryskich w Sali Rycerskiej.

W późniejszych czasach, do początku lat 60. XX w. był użytkowany jako mieszkalny. Zamieszkiwali go pracownicy Instytutu Rolniczego. Następnie mieściło się w nim przedszkole. Z początkiem roku szkolnego 1982/1983 Szkoła Podstawowa nr 2 pozyskała pomieszczenia w Domu Aleksandryjskim i usytuowała w nim filie swojej szkoły. Mieściła się tam świetlica i klasy pierwsze. Po 2 latach budynek przejął Wydział Zdrowia Urzędu Miasta. Następnie umieszczono tu Dzienny Ośrodek Adaptacyjny dla Dzieci Specjalnej Troski.