Ocupaba una gran explanada dominada por el castillo y una vasta muralla que cercaba todo el poblado.Tras la conquista cristiana en 1081 pasó a formar parte del común de villa y tierra de Hita y sirvió como defensa del puente sobre el Sorbe del camino real de Zaragoza.En 1328 se trasladó la cabeza de la encomienda a la cercana Mohernando y con ello el cobro del tributo.Comienza entonces el despoblamiento de Peñahora y el abandono del castillo.El castillo de Peñahora quedó entonces completamente en desuso y abandonado.
A la izquierda de la fotografía se pueden apreciar unos restos del trazado de la muralla, ajustada a la topografía del cerro.
