Se trata de una villa medieval amurallada, cuya rehabilitación motivó su declaración como Conjunto Histórico en 1951.
Los condestables se asentaron allí, siendo el lugar sitio de paso para grandes personalidades, como artistas, nobles y monarcas.
En ella vivía el carcelero y había varias salas anexas donde malvivían los presos.
Para los delincuentes comunes, normalmente ladrones, existían dos celdas hechas de madera de 3x3 m por las que apenas entraba la luz y en las que podían estar prisioneros hasta quince personas durante varios días.
Para los delitos de sangre se reservaba un destino más cruel, pues los presos eran arrojados individualmente a una habitación inferior, lo que provocaba de forma frecuente lesiones o roturas en piernas y tobillos, con lo que se reducía casi a cero la posibilidad de fuga.
Los demás presos, eran arrojados a otra habitación por una trampilla, lo que también provocaba roturas de miembros.
Existía otra habitación para los presos preventivos, en la que de día estaban sueltos pero que al llegar la noche y por seguridad del carcelero, que vivía allí en la cárcel, se les echaba en una tabla de madera con los pies sujetos en un cepo y la cabeza enganchada con un grillete a la pared o los colocaba de pie sobre la pared y les ponía un grillete sujetándoles la cabeza, según la crueldad del carcelero, a la altura del preso o a una altura más elevada para que el preso pasara la noche de puntillas.
El castillo cuenta con una imponente torre del homenaje, foso, y está rodeado en la mayoría de su perímetro por un precipicio.
La documentación sobre estos hechos se conserva en el Archivo General de Simancas.
Esa noche se suele celebrar un concierto y el aforo al pueblo es limitado.