Las primeras noticias sobre la finca corresponden al último cuarto del siglo XVI.
[4] Hacia mediados del siglo XIX Manuel Alvarez de Toledo pasó una convalecencia en el caserón situado al este de la finca y que sería posteriormente el primer edificio del colegio.
A partir de esta estancia, la quinta pasó a llamarse Quinta del Recuerdo, como consecuencia del buen recuerdo que albergaba el duque de su estancia.
Esta edificación contaba con dos alturas era de gustos sencillo y planta cuadrada con un gran patio central.
En la tercera terraza, la más inferior, se disponía un importante arbolado y contaba con un estanque.