Nazwa wzgórza, na którym znajduje się klasztor, Plebania Góra, upamiętnia pierwotnego właściciela terenu – proboszcza kazimierskiej fary. Odległość dzieląca plebanię od kościoła wyraźnie doskwierała proboszczom – aż do czasu, kiedy pobożny mieszczanin Mikołaj Przybyło wystąpił z propozycją obopólnie korzystnej transakcji. W zamian za plac położony w sąsiedztwie fary Przybyło otrzymał od proboszcza teren plebanii. Kupiec był wyraźnie zadowolony z przebiegu transakcji, dlatego ślubował wystawienie na wzgórzu kościoła pod wezwaniem Zwiastowania NMP, co nastąpiło w 1589 roku. Trzydzieści lat później władający całą okolicą Firlejowie nadali tereny wokół kościoła ojcom franciszkanom reformatom. Zakonnicy wznieśli widoczny dziś klasztor, a cały teren otoczyli kamiennym murem. Wybór miejsca nie był przypadkowy – Plebania Góra od lat stanowiła cel pielgrzymek. W 1628 roku specjalna komisja biskupia uznała obraz Zwiastowania znajdujący się w głównym ołtarzu za „łaskami i cudami słynący”. Wota – przeszło 38 funtów złota i srebra – świątobliwi mnisi przeznaczyli na ocalenie Najjaśniejszej Rzeczypospolitej w czasie insurekcji kościuszkowskiej. Niestety klasztor stał się również miejscem męczeństwa, kiedy w latach II wojny światowej Niemcy ulokowali w nim siedzibę gestapo. W 1956r. staraniem o. Wenantego Miziniaka w klasztorze powstało muzeum, którego eksponaty obejmują: rękopisy, stare druki, dawne rzeźby i obrazy oraz relikty regionalne z okolic Kazimierza. Świątynia, która po wojnie wróciła w ręce ojców reformatów, od 1986 roku nosi zaszczytne miano Sanktuarium Matki Bożej Kazimierskiej.