Kamieniołom znajduje się w pobliżu przeprawy promowej do Janowca. Kamieniołom powstał w obrębie wysokiej prawo-brzeżnej skarpy pradoliny Wisły. Jego położenie zbieżne jest z pierwotną granicą miasta, zaakcentowaną w nazwie pobliskiego wąwozu Granicznik.Już w XIV w. Wydobywano tu wapień. Eksploatacja zasobów kamieniołomu trwała kilkaset lat i zakończyła się dopiero w latach 80. ub. w., a z uzyskanego surowca powstały nie tylko liczne budowle Kazimierza Dolnego, ale również obiekty w innych miejscowościach, jak np. elementy architektoniczne twierdzy w Dęblinie czy warszawskie Wybrzeże Kościuszkowskie, budowane w początkach XX w
