Palacio nuevo de los duques del Infantado

En este momento la posesión pasa a conocerse también como casa y huerta de Guillamas.

Posteriormente tuvo sucesivos propietarios: En 1661, la propiedad es comprada por el magistrado Juan de Góngora.

En 1746 la propiedad fue adquirida por María Francisca de Silva, XI duquesa del Infantado, quien mandó derribar la edificación existente y realizar una nueva construcción que sería finalizada en 1750.

[Nota 1]​ A mediados del siglo XIX la propiedad sería cedida a las madres de la Sociedad del Sagrado Corazón para formar un colegio que permanece en la actualidad.

En su interior contaba con una serie de habitaciones decoradas al estilo pompeyano.