En 1153 pasó a ser señorío privado de Fernando Yáñez por concesión real.Isabel la Católica vivió durante algún tiempo en el castillo acompañada por su amiga Beatriz de Bobadilla, hija del alcaide del castillo y después marquesa de Moya.Al trasladarse los dueños del castillo al municipio toledano de Torrijos, la fortaleza quedó sin uso y fue deteriorándose, aunque permaneció en la familia Cárdenas hasta el siglo XIX, cuando se abolieron los señoríos.[2] El Gobierno español instaló en su interior un cuartel de la Guardia Civil, dándole así una función y un organismo que lo conservara.La planta del castillo es rectangular y ocupa dos niveles distintos de terreno.Tras el portón había una fuerte reja de forja machihembrada que cerraba el paso.