Se encuentra situado en un promontorio cercano, ya en las estribaciones de la sierra del Agua, y que ha visto el devenir histórico de estas tierras.

Construido por los romanos en el siglo III, y destruido posteriormente, el actual se volvió a erigir en el mismo espacio que el anterior sobre el siglo XII, aunque fue reformado por el año 1.456.

[1]​ La importancia del castillo de la localidad es vital durante la conquista árabe de Alcaraz en el 712, ya que era uno de los pocos bastiones que les quedaban a los musulmanes antes de entrar en la ciudad alcaraceña, y volverá a ser clave durante la reconquista cristiana de la zona, debiendo de ser tomado el Castillo de El Santo por las tropas cristianas de Alfonso VIII a finales del mes de mayo de 1213 en la avanzada que una vez tomada la ciudad de Alcaraz (que duró más de un año, y en la que según cuentan las crónicas murieron más de 2.000 soldados cristianos) conquistaría días más tarde la fortaleza de Riópar.

[2]​ La repoblación de la zona durante la reconquista trajo a Vegallera vecinos de Castilla, por ello abundan en la localidad apellidos del norte de la península (Alfaro, Fajardo, Rivera, Clemente, Segura o García).

[3]​ Elevado sobre un promontorio, el castillo tenía forma rectangular, siendo su construcción de mazonería con sillería en las aristas de sus lados, quedando actualmente vestigios y tramos de lienzo deteriorados de diferente altura.