Otaczające obiekt wały spora liczba dział oraz rozległe bagna i stawy wokół czyniły Rzemień jednym z bardziej warownych zamków w Rzeczpospolitej w połowie XVII wieku. W roku 1710 klucz rzemieński przechodzi w posiadanie Sanguszków a następnie wraca na krótko do Lubomirskich. W następnych latach już często zmienia właścicieli należąc kolejno do Lasockich Stadnickich Reyów Boguszów i Szaszkiewiczów.
W połowie XIX wieku Feliks Bogusz przeprowadza neogotycką przebudowę wieży. Zostaje nadbudowana jedna kondygnacja oraz założony krenelaż kryjący wklęsły dach. Kolejne zmiany zamku w Rzemieniu miały miejsce na początku XX wieku a ich autorem był Gustaw Szaszkiewicz. Wzniesiona zostaje cylindryczna wieżyczka mieszcząca klatkę schodową oraz dwie dobudówki od północy i zachodu. Wieża uzyskuje ponownie dach namiotowy wyższy niż poprzednio. Rozebrana zostaje stara brama i kazamaty. Kurtyny północna i południowa zostają rozkopane w celu budowy szerokich przejść. Obniżeniu ulega o około 1,7 m poziom dziedzińca.
Dziś budynek jest właśnościa prywatna i na jego terenie są przeprowadzane prace budowlano konserwatorskie. zameczek można oglądać tylko z poza ogrodzenia i murów obronnych.
Ale chyba lepsze jest podziwianie odrestaurowanego zabytku, choćby zza wałów, niż oglądanie go popadającego w coraz większą ruinę...