Otrora fue conocido como el Corral de los Cautivos, ya que los presos cristianos permanecían aquí en unas mazmorras árabes.

El convento fue finalmente destruido en 1842 tras la desamortización de Mendizábal, cuyos terrenos pasaron al padre del general Carlos Calderón quien edifica el actual palacete, numerosos jardines y agranda la alberca.

En 1986 se realiza una restauración para disfrute de los visitantes, siendo reinaugurado el palacete en diciembre por el entonces vicepresidente del gobierno, Alfonso Guerra.

Por otro lado, el jardín español está situado junto a la terraza que da al auditorio Manuel de Falla.

Se quiso imitar los cármenes granadinos, aunque actualmente solo queda un estanque rodeado por rosales y tilos originales.