[1]​ El dueño y promotor del palacio fue el financiero José Xifré Downing, hijo de José Xifré Casas, un industrial catalán que había hecho su fortuna en Cuba.

En la zona se habían comenzado a instalar miembros de las élites madrileñas.

Según Fernández de los Ríos era una «joya más linda que cómoda».

A finales del siglo XIX el palacio se convirtió en legación de México siendo su propietario el mexicano y embajador Manuel de Yturbe y del Villar.

Posteriormente estuvo deshabitado unos años siendo utilizado para almacén y venta de muebles, hasta que fue adquirido por el duque del Infantado como residencia propia.