Pałac Potockich został wzniesiony w II poł. XVIII w. przez Potockich, którzy byli właścicielami ówczesnego miasta, a sam pałac miał stanowić siedzibę Andrzeja Potockiego.
Na początku XX w. miasto wraz z pałacem zostało prawie doszczętnie zniszczone. Przed II wojną światową został przebudowany powtórnie przez Jana Koszyca Witkiewicza, jednak wskutek działań wojennych popadł w ruinę i dopiero w latach 60. XX w. przeszedł gruntowny remont.
Pałac Potockich został położony na wysokiej skarpie nad Wisłą, frontem zwróconym na wschód. Budowla powstała na planie zbliżonym do prostokąta, wymurowana z kamienia i cegły z dodatkowym piętrem i podpiwniczeniem. W obramowaniu jednego z otworów okiennych umieszczony jest herb Suchekomnaty.
Wokół Pałacu Potockich rozciąga się park o powierzchni 3 ha, który także powstał w XVIII w. i posiada powierzchnie 3 ha, natomiast w pałacu znajduje się siedziba urzędu gminy Józefów.