Debió de iniciarse su construcción a principios del siglo XVI, aunque se desconoce la fecha exacta.
La cofradía anteriormente mencionada también tenía a su cargo la Ermita de Jesús, cuya edificación fue costeada por los miembros de dicha cofradía.
En dicha parcela se construyó una escuela de párvulos y una casa para la maestra.
El estado en que se encontraba aconsejó su venta y en 1964 fue adquirida por Bartolomé Torrico Martos.
Años después, la viuda del propietario, Antonia Torrico Ayllón, destruyó toda la obra del refugio antiaéreo, construido por los republicanos, conservándose desde entonces únicamente la portada de la ermita y el crucero, en el interior.