En el solar que ocupaba el palacio se encontraba un palacio perteneciente a los duques de Osuna,[1]​[2]​ que luego pasó a los marqueses de Castro Serna.

El palacio fue adquirido para ser residencia de los infantes María Teresa y don Fernando.

Fue construido en breve tiempo por el arquitecto Luis de Landecho y su ayudante, Gallego.

[5]​ Tras la muerte de la infanta, siguieron viviendo en el palacio su viudo e hijos, hasta 1931.

El palacio contaba con planta baja, principal, segunda y una última donde se situaban los cuartos de servicio.