Al morir el soberano, fue amnistiado por la reina gobernadora doña María Cristina de Borbón-Dos Sicilias y volvió a España.
Ello se debía a que la reina viuda decidió quedarse para sus aposentos reales la totalidad de las habitaciones, por ser zona muy soleada.
La Librería de Cámara, llamada así por estar junto a la cámara real desde que a mediados de los años sesenta del XVIII se trasladara a vivir al Palacio Nuevo la Familia Real desde el Palacio del Buen Retiro, se trasladó por tanto.
A estos fuertes ingresos supo hacer frente Juan Crisóstomo Ramírez Alamanzón, tras la Guerra de la Independencia, sucediéndole José Ángel Álvarez Navarro hasta 1834, coincidiendo con el fallecimiento del monarca.
Debió morir antes de 1848 pues siendo obispo electo de Tarazona no llegó a tomar posesión y en 1848 ocupaba la sede el dominico Vicente Ortiz Labastida.