En el centro se alza un gran roquedal, llamado «Peña Negra», que posiblemente funcionaba como «alcazarejo» del castillo.
Se atribuye la estructura muraria a época andalusí, aunque los estudiosos consideran que la torre data de la primera mitad del siglo XIV, es decir, muy poco después de la conquista castellana.
[2] Y poco después, un hombre de muy baja estatura llamado Pero Fidalgo, que según las crónicas de la época estaba a las órdenes del maestre de Calatrava, escaló de noche junto con algunos hombres y por mandato del infante Pedro la llamada «Peña Negra», situada junto al castillo de Tíscar y defendida por diez hombres, y al amanecer Pero Fidalgo y sus hombres atacaron a los musulmanes que la custodiaban, los mataron a todos y se apoderaron de ella.
[2] Y al saberlo el infante Pedro, ordenó a sus tropas que se prepararan, lanzó un ataque general sobre la villa de Tíscar, y la conquistó.
[8] Y el infante, que no deseaba permanecer más tiempo allí, accedió a las peticiones del sitiado y permitió a las 4.500 personas que habitaban en Tíscar que salieran y garantizó su seguridad hasta que llegaron a Baza,[3] según consta en el capítulo XX de la Gran Crónica de Alfonso XI.