W 1784 r. nowi właściciele po rozebraniu bocznych skrzydeł pałacu i bram wybudowali od strony Krakowskiego Przedmieścia trzypiętrową kamienicę połączoną z pałacem dwoma dwupiętrowymi oficynami (tzw. Kamienica Roeslerów i Hurtiga - zwaną również Domem Roeslerów). Wschodnia fasada pałacu znalazła się wewnątrz trójkątnego podwórza, a sam pałac stracił swój reprezentacyjny charakter i pełnił rolę kamienicy czynszowej.