Gracias a los grabados de Joris Hoefnagel incluidos en el Civitates Orbis Terrarum, se conoce que existía un templo gótico en este lugar.
Se preservó del antiguo templo el cuerpo bajo de la torre gótica y la sacristía manierista.
Se alojó con la familia Gallo, quienes le regalaron su célebre galgo Pacheco, que apareció en numerosos óleos.
Durante la Guerra civil española las pinturas se salvaron gracias a que el vecino Andrés Cabeza las ocultó con pigmentos y cola.
Fueron restauradas por el hijo del pintor, Rafael Romero de Torres, aunque parece ser que con resultado no muy satisfactorio.