Zespół zamkowy zlokalizowany jest na wysokiej skarpie w malowniczym Kazimierzu Dolnym. Jest to unikalny w Polsce zabytek średniowiecznej architektury obronnej, w którego skład wchodzi monumentalna wieża, znana jako baszta oraz położony u jej stóp zamek.
Baszta pochodzi z XIII w. i uznawana jest za najstarszą budowlę Kazimierza Dolnego. Niegdyś pełniła funkcję warowni, a według niektórych badaczy także latarni rzecznej, strażnicy celnej, a nawet więzienia. Baszta usytuowana jest w jednym z najlepszych punktów widokowych miasteczka, a wejście do niej znajduje się na wysokości 6 m, gdzie prowadzą drewniane schody. Obiekt położony jest zaledwie 200 m od zamku.
Owy zamek został ufundowany przez króla Kazimierza Wielkiego w I poł. XIV w. i został wzniesiony na tzw. surowym korzeniu – czyli w miejscu nie objętym wcześniej osadnictwem. Zamek pełnił rolę mieszkalno-obronną jednak pod koniec XIX w. całkowicie utracił swoje funkcje i po stopniowym zniszczeniu stał się ruiną, która obecnie traktowana jest jako zabytek.