Znajdują się na cyplu Pasma Koziejówka, na stromym wzgórzu (popularnie nazwanym Basztą), nad zakolem rzeki Poprad, w widłach potoków Szczawnik i Muszynka. Z badań archeologicznych przeprowadzonych w latach 1973-1974 wynika, że pierwszym obiektem wznoszącym się na najwyższym szczycie pasma Koziejówka (636 m. n.p.m.) był drewniany grodek z XI wieku. W XIV wieku grodek został wzmocniony kamieniami i częściowo obmurowany. Zamek powstały ok. 1390 roku na niższym ze szczytów pasma (527m. n.p.m.) miał za zadanie bronić granicy i szlaków handlowych, oraz pełnić funkcje komory celnej.
Z natury obronne miejsce zabezpieczone stromymi stokami z trzech stron, otoczono murem kamiennym i wykonano przekop, przez który przerzucono zwodzony most. Do zamku wjeżdżało się przez bramę umieszczoną w czterobocznej wieży prosto na dziedziniec, przy którym postawiono piętrowy dwór starosty. Twierdza była rezydencją biskupiego „państwa muszyńskiego” do 1474 roku, kiedy to została niemal całkowicie zniszczona podczas najazdu na Polskę króla węgierskiego Macieja Korwina. Zamek został odbudowany w stylu renesansowym przez Węgrów (nakazem traktatu z 1474 roku zawartego w Starej Wsi). Od tego momentu pełnił wyłącznie funkcję strażnicy. Autorem prowadzonych zmian w wyglądzie budowli był Aleksy z Bardiowa.