Vinculado a los sectores ultraabsolutistas, actuó como persona de confianza del rey Fernando, quien tuvo que destituirle durante el Trienio Liberal (1820-1823), por lo que pasó a ser canónigo de Toledo.
El 19 de noviembre el Rey Fernando dicta un decreto dirigido a Damián, por el que se crea el Consejo de Ministros, y del que conviene destacar: Con la llegada del monarca a Madrid fue cesado como ministro (2 de diciembre), forzado por las protestas exteriores ante la intensidad y la extrema dureza con que se dedicó a perseguir a los elementos liberales.
Perseguido como supuesto adicto a la causa del pretendiente Don Carlos durante la primera guerra carlista, su hermano el gobernador eclesiástico y su sobrino Francisco Javier García Rodrigo se refugiaron con él en Sigüenza, donde el obispo tuvo que permanecer escondido en la planta baja de la casa de un amigo, en la que al poco tiempo murió por una enfermedad adquirida en el viaje.
[1] Tras el fin de la guerra, su sobrino regresó a Sigüenza para dar digna sepultura a los restos mortales de su tío.
[1] El obispo Víctor Damián Sáez está enterrado en la capilla del Sagrario de la Catedral de Tortosa.