[1]​ De los restos del castillo destaca la torre del homenaje, que conserva la puerta de acceso original, así como el remate de almenas, que se sitúa en lo que antiguamente era el patio del castillo y que en la actualidad es la plaza Mayor del pueblo.

Además fue restaurado en la década de los años 90 del siglo XX.

[3]​ La historia del castillo se enlaza en la de las propia localidad, siendo difícil poder concretar su origen, que algunos autores consideran erigido por mandato de Don Sancho Manuel alrededor del año 1338; lo que sí se sabe es que ha sido utilizado en muchas ocasiones como cárcel; y también como residencia noble (el castillo acabó perteneciendo a Don Rafael Villanuesa y Cabanilles Verastegui y la Plazuela, Conde de Casal, lo cual dio un segundo nombre al castillo de Carcelén, que también es conocido como castillo del Conde de Casal).

[4]​[5]​ También se ubicó en su interior el Consistorio (incluso durante los primeros mandatos de la actual etapa democrática) y el colegio público.

Por su parte, el patio del castillo, actual plaza mayor del pueblo es el escenario de distintos actos durante las fiestas de agosto.