Właściciele do pałacu nie powrócili (mieli jeszcze jedną rezydencję w Miżyńcu). Z porzuconej rezydencji mieszkańcy Czerwonogrodu powoli rozkradli do własnych domów resztki mebli pałacowych. Stopniowo park angielski porósł zielskiem.
W latach 30 XX wieku pałac był już niezamieszkały.