Ostenta históricamente los títulos de "Muy Noble, Leal y Siempre Fidelísima", otorgados estos últimos por el rey Felipe V.

Los restos más antiguos se localizan a un kilómetro escaso del casco urbano actual, junto al río Huecha, en el cerro de "El Convento".

Allí se emplazaba el enclave celtíbero conocido por los textos antiguos como la Belsinon y posteriormente como la Balsio o Balsiones romana.

Estos establecieron allí una parada o "mansión" en la vía n.º 32 de Tarraco a Astúrica.

Sobresaliendo la "terra sigillata hispánica" de color rojizo que se han fechado entre los siglos I y II d. C. En 1119 Alfonso I reconquistó la villa a los árabes, y la repobló con mozárabes después de una incursión en tierras andaluzas (1126).

En 1706 fue sitiada y saqueada por tropas del archiduque Carlos, pretendiente al trono de España.

En el verano de 1813 la fortaleza sufrió muchos daños en las luchas que llevaron a la liberación de la ciudad por las tropas españolas al mando del Francisco Espoz y Mina, y una vez derrotado el ejército francés el castillo fue desmantelado.