[2][3] La Casa de Vacas fue construida en 1833 como «Casa Reservada del Real Sitio del Buen Retiro», por orden de Fernando VII.
[11] En julio de 1983, un incendio destruyó parte del edificio que se encontraba abandonado.
[19][23] La explotación y gestión de este espacio se adjudica por concurso público a empresas privadas.
[15][24][25] A partir de 1990, ha servido en diferentes ocasiones como recinto del Salón de Otoño, que se celebra anualmente en Madrid desde 1920, organizado por la Asociación Española de Pintores y Escultores, y en el que se dan cita artistas nacionales y extranjeros.
[26][27][28] También ha sido utilizado para celebrar algunas ediciones del Premio BMW de Pintura.