Wewnątrz muru rozciąga się obecnie prawie niezabudowany pusty plac. Na nim stoi mały klasycystyczny budynek, pierwotnie powiatowej Izby Skarbowej z 1807, a dziś Muzeum Książki. Budynek wzniesiono na miejscu dworu biskupiego. Większy budynek, przy murach, jest dziś siedzibą muzeum malarstwa, a powstał jako siedziba sądu szlacheckiego i kancelarii. Stoi on na pozostałościach pałacu książęcego. W centralnej części placu, pod przykryciem, jest ekspozycja ukazująca odsłonięte pozostałości cerkwi św. Jana Teologa z początków twierdzy.