W tej sytuacji najprościej wierzyć legendzie, która mówi o diabelskiej pomocy przy budowie na wysokiej skale, w tak niedostępnych warunkach, zamku tych rozmiarów.

Według legendy dawno, dawno, temu na Orawie żył chłop o imieniu Marek. Podczas wędrówki wzdłuż  rzeki Orawy podszedł do skały, popatrzył na nią i  powiedział, że wybuduje na niej zamek, nawet z pomocą diabła. Nagle usłyszał za sobą głos ludzki deklarujący pomoc przy spełnieniu marzenia. Obejrzał się, zobaczył diabła, którego w pierwszej chwili się wystraszył, tym bardziej, że zażądał on od razu od niego w zamian podpisania cyrografu na duszę. Ponownie popatrzył na skałę, zastanowił się , pomyślał i doszedł do wniosku, że nawet diabeł nie będzie w stanie spełnić jego zamiarów i przystąpił z czortem do umowy deklarując, że jak zamek powstanie w ciągu siedmiu dni to po siedemdziesięciu latach odda mu swoją duszę. Diabeł wziął się żwawo do pracy, pracował dniami i nocami znosząc głazy z  całej okolicy i budowla szybko rosła. Zaniepokoiło to trochę Marka i postanowił zaradzić przebiegłości diabła zwracając się do Boga o pomoc. Na siódmą noc zamek był prawie gotowy, pozostał czartowi ostatni głaz, który z  mozołem toczył pod górę, gdy już kończył pracę zapiał nagle kogut obwieszczający ranek ósmego dnia. Tak to rozsierdziło czarta, że wypuścił głaz, który stoczył się do Orawy, gdzie pozostał do dziś dzień. Miejsce gdzie spadł kamień do rzeki nazywane jest Markową Skałą.

Jako ciekawostkę należy podać, że w 1441r. zamkiem władał  Piotr Komorowski, Polak, hrabia Liptowa i Orawy. Piotr Komorowski  wywodzsił się z polskiej rodziny szlacheckiej herbu Korczak, której siedzibą rodową był Komorów w Księstwie Bełskim, a  więc jest to ród z  którego wywodzi się aktualny Prezydent RP.