El edificio original —mandado a construir hacia 1780 por Francisco Antonio Avaria— constaba de un solo cuerpo de dos pisos, construidos en adobe y madera; su edificación se desarrollaba en torno a una hacienda.[1] Ahí realizó algunas plantaciones, y hacia 1780 comenzó la construcción de la casona, empezando con el volumen norte de dos pisos que aún se mantiene.Durante el siglo XIX, Mercedes Contador Avaria "amplió el inmueble, para permitir la realización de ejercicios espirituales: alrededor del actual Patio de los Naranjos, levantó una capilla, un refectorio y habitaciones para los ejercitantes".[1] La propiedad, que pasó a ser conocida como Casa de Ejercicios San Rafael, fue así configurando la forma que actualmente tiene, como un edificio cerrado en torno a un patio central.Estos cambios preparan a la casa para lo que sería la urbanización del sector de Pedro de Valdivia Norte y su definitiva inserción en la ciudad.
