Está situado sobre un cerro, desde donde se domina el pueblo, y es visible desde la autopista A-3 (Madrid-Valencia).

La Alarilla fue conquistada por el rey Alfonso VI de León entre los siglos XI y XII.

Los cristianos establecidos optaron por abandonar esta construcción, meramente militar, y levantaron en el siglo XII un nuevo castillo, que, además de fortaleza, sirviera de residencia palaciega.

En 1438, el adelantado Pedro Manrique fue encarcelado en el castillo, en tiempos de Juan II.

Presentaba dos cuerpos, uno principal y un gran albarcar, separados por un foso interior.