Wieść niesie, iż pierwszy zlokalizowany w Kamieńcu (drewniany jeszcze) zamek wznieśli templariusze z Zakonu Ubogich Rycerzy Chrystusa i Świątyni Salomona. Jeśli jednak mielibyśmy oprzeć się na faktach historycznych, musielibyśmy zacząć od renesansowej budowli pochodzącej z połowy XVI wieku. Później, już na początku wieku XVII, na fundamentach wspomnianego zamku wzniesiono pałac w stylu barokowym. W dzieje pałacu wpisała się bogata galeria właścicieli i niewiele tylko skromniejsza historia kolejnych prac będących przebudowami. Dziś w budynku mieści się Ośrodek Leczniczo – Rehabilitacyjny dla dzieci.
