Es un castillo de estilo renacentista y que al parecer contiene restos del siglo XI, pero la construcción actual data del siglo XV.
El castillo fue construido sobre los restos de un castillo anterior del siglo XI, y del que se conserva todavía el sótano.
En 1475 se entrega esta localidad con su castillo a los Reyes Católicos, llegando a albergar a Fernando II de Aragón en su camino hacia la batalla de Toro, durante la guerra contra Juana la Beltraneja.
Fonseca reconstruyó el castillo convirtiéndolo en un palacio con trazas renacentistas y lo hizo su residencia habitual, que compartió con su amante Teresa de las Cuevas.
Desde entonces perteneció a Ricardo Soriano Scholtz von Hermensdorff (marqués de Ivanrey), quien lo vendió al ganadero Tabernero de Paz; éste a su vez lo enajenó en 1958 a sus actuales propietarios.