Podobnie jak w przypadku wielu innych zamków na Słowacji budowę nowego zamku rozpoczęto prawdopodobnie w miejscu starego drewnianego grodu po najeździe Tatarów w 1241 roku. Gród skalny pierwotnie zbudowany w stylu romańskim i gotyckim, został później przebudowany na renesansowy i neogotycki.

Zamek tworzy dziś kompleks budowli, które odtwarzają kształt skały, na której stoi. W 1556 roku zamek dostał się w ręce rodu Thurzo, który przeprowadził jego dalekosiężną przebudowę. W roku 1611 Zamek Oravski uzyskał swój dzisiejszy wygląd.

Po wymarciu rodu Thurzo zamek miał wielu właścicieli, którzy się o niego nie bardzo troszczyli. Największy kataklizm nadszedł w 1800 roku, kiedy z zamku zostały zgliszcza i popioły i stał się niepotrzebny. Dopiero po drugiej wojnie światowej przystąpiono do większych prac rekonstrukcyjnych, które miały na celu uratowanie zamku jako zabytku.