Po śmierci Henryka I Jaworskiego w 1346 roku warownia stała się lennem królestwa Czech, zaś jej nowymi lokatorami zostali członkowie łużyckiej rodziny von Dohna. Zamek składał się wówczas z otoczonej murami czterokondygnacyjnej wieży mieszkalnej i wysokiego stołpu. W 1417 Wencel von Dohna upłynnił go lwówieckiemu mieszczaninowi Heinrichowi Renkerowi z Żytawy. Nowy właściciel poczuł się za potężnymi murami na tyle pewnie, że zaczął napadać na swoich sąsiadów i przejeżdżających nieopodal kupców, szybko uzyskując sławę podłego zbója. Zmuszono go jednak do sprzedaży twierdzy, którą w 1420 zakupił kanclerz i radca na królewskim dworze Zygmunta Luksemburczyka Hartung von Klux (Hartung z Kluszków). Z uwagi na obowiązki służbowe był on raczej rzadkim gościem we własnym zamku - w rzeczywistości zarządzał nim wybrany na starostę bratanek Hartunga Dietrich. W roku 1433 podczas jednej z wielu podróży właściciela, gdy ten bawił w szwajcarskiej Bazylei, warownię zbrojnie zbrojnie najechał husycki oddział Hansa Czirna z Niesytna. Przez kilka kolejnych miesięcy zamek znajdował się w rękach rebeliantów, ale już wiosną następnego roku odpowiednio umotywowany Hartung odbił go siłą, rozprawiając się krwawo z jego nielegalnymi lokatorami.