La portada principal es considerada como una de las obras más representativas del barroco civil español.
En 1673 se funda el Real Hospicio del Ave María y San Fernando.
Del primitivo edificio solamente se conserva la capilla, ya que fue reformado en el siglo XVIII.
Su repertorio inicial se nutrió en gran medida de una donación del ingeniero y coleccionista Félix Boix: más de 700 objetos, entre grabados, fotografías, pinturas, porcelanas...
Entre las pinturas más antiguas destaca una imagen ideal de San Isidro pintada a principios del siglo XVII por Bartolomé González, el Retrato del marqués de Vadillo por Miguel Jacinto Meléndez y otras efigies pintadas por Zacarías González Velázquez (La reina María Luisa de Parma, 1789), Antonio Carnicero (Carlos IV, 1789; Fernando VII, 1808), Joseph Flaugier (José Bonaparte, h. 1808-13), Vicente López Portaña (Fernando VII con uniforme de capitán general, 1816-18)...
[6] Gil de Palacio y sus ayudantes construyeron esta maqueta a escala 1:816 con extremada precisión en tan solo 23 meses.