Es probable que el castillo fuese construido en época musulmana, quizás sobre una construcción romana anterior.Como muchos de estos edificios, tuvo funciones totalmente distintas a las que le correspondían.El Castillo Viejo se convirtió en el Parador Nacional Virrey Toledo, pero fue suprimido y vuelto a instaurar en 1966.Su planta es rectangular y tiene cuatro torres circulares en las esquinas, de las que hoy sólo quedan dos, y un probable antemuro con cuatro cubillos que limita con la propia villa.Su planta es también rectangular y posee torres de distinta forma en sus ángulos, construidas en parte con sillería.En su interior hay una gran plaza a la que se accede por su única puerta, protegida por la torre principal.La torre del homenaje es el elemento más destacado de este conjunto arquitectónico.Este escudo, situado en la torre de homenaje, se corresponde con el conde que la construyó, en 1402.La torre tiene una altura de 25 metros y está rematada por cuatro garitones defensivos con saeteras cruciformes, y por almenas en las que se abren pequeños huecos para armas de diferentes clases.En su parte baja tiene una puerta que permite su acceso a la planta inferior, abovedada.La piedra es una materia que se encuentra en abundancia y es muy apropiada para este tipo de edificaciones.
