Después de 1661 su hermano y heredero Jan Andrzej Morsztyn sustituyó la casa solariega por un palacio barroco (Pałac Morsztynów, "Palacio Morsztyn"), que tenía cuatro torres.

En 1748 su hijo, el rey Augusto III, completó la reconstrucción del palacio.

Tras la Primera Guerra Mundial, el Palacio Sajón fue la sede del Estado Mayor de Polonia.

En este edificio se "rompió" por primera vez la máquina Enigma en diciembre de 1932 y desde él se leyeron los mensajes codificados durante varios años, hasta que en 1937 el Biuro Szyfrow ("Oficina de Criptografía") del Estado Mayor se trasladara a una nueva sede diseñada específicamente para él cerca de Pyry, en los Bosques Kabaty, al sur de Varsovia.

[5]​ En 2006 se excavaron los sótanos del palacio, descubriendo unos veinte mil objetos.