Según transcurría el siglo XVIII, tuvieron lugar una serie de acontecimientos dramáticos en la historia del Palacio: el último Obispo de Vilna vivió en el palacio, Lituania fue anexionada por el Imperio ruso y el edificio resultó gravemente dañado por dos incendios, en 1737 y en 1748.

Durante el siglo XIX, el palacio fue la residencia de varios gobernadores del Imperio ruso, como Mikhail Muravyov, apodado "El verdugo".

En 1812, el zar ruso Alejandro I y el emperador francés Napoleón usaron el palacio como residencia.

Recibió a nobles lituanos, funcionarios recién nombrados de la administración y otros dignatarios en el Palacio.

[3]​ Tras la Segunda Guerra Mundial, el palacio sirvió como el Centro de Oficiales; posteriormente fue habitado por varios artistas lituanos.