Historia Pałacu Potockich rozpoczęła się w 1731 roku, gdy, August Aleksander Czartoryski poślubił Zofię Sieniawską i został współwłaścicielem dworu Denhoffów. W 1760 dwór ten został przekształcony przez rodzinę Czartoryskich w pałac w stylu późnobarokowym. W pracach współuczestniczył architekt Szymon Bogumił Zug.

W 1799 pałac przeszedł w ręce córki Lubomirskiej - Aleksandry, żony Stanisława Kostki Potockiego, a budynek przebudowano w stylu klasycystycznym.