Józef pochodził z rodziny niemiecko-francuskiej, a Łucja ze szlachty litewskiej. Z racji talentów osobistych oboje należeli do najwyższych sfer upadającej Rzeczypospolitej, a potem Królestwa Kongresowego. Józef Rautenstrauch rozpoczął karierę od pracy w kancelarii Stanisława Augusta Poniatowskiego. Podczas insurekcji warszawskiej w 1794 roku został adiutantem Tadeusza Kościuszki. Służył także jako adiutant swemu serdecznemu przyjacielowi – księciu Józefowi Poniatowskiemu. Rautenstrauch przeżył również wyjątkowo nieudaną inwazję Napoleona na Rosję i został odznaczony stopniem generalskim. Ten stopień wojskowy uznano także w Królestwie Kongresowym. W następnym okresie, już jako generał, pracował w administracji carskiej i zgromadził ogromny prywatny majątek. Mimo iż pracował dla administracji rosyjskiej, nigdy nie zapomniał o potrzebach dawnych towarzyszy broni wspomagając ich finansowo. Jako osoba odpowiedzialna za… teatry uzyskał dla tych instytucji stałe dotacje, a dla ich pracowników urzędnicze prawa emerytalne. W życiu osobistym nie układało mu się najlepiej. Jego pierwsza żona zdradziła go z samym carem Aleksandrem I. Druga żona, wspominana już Łucja Rautenstrauch, szybko doprowadziła do separacji i na wiele lat wyjechała w wojaże po Europie. Swe przygody opisywała w korespondencji stając się poczytną pisarką. Łucja jako przyjaciółka Izabeli księżnej Czartoryskiej usiłowała podtrzymać intelektualną atmosferę Puław wyposażając wille: Cienistą i Samotnię w liczne dzieła sztuki i tworząc z nich na długie lata intelektualne centrum Puław. Zanim jeszcze doszło do rozpadu małżeństwa, generał Rautenstrauch często bywał w Samotni, przewodnicząc zebraniom loży masońskiej.