El pueblo de Castellanos, que era coto señorial, perdió su villazgo y quedó despoblado durante la Edad Moderna.

[1]​ Hacia 1485, el maestre realizaba nuevas obras de fortificación, probablemente construyendo o reforzando la muralla exterior y sus baluartes.

Su núcleo inicial, ubicado en el punto más alto y septentrional, consistía en una torre que debió de albergar las estancias señoriales.

Fabricado de fuerte mampostería y sillarejo, con alguna añadidura de ladrillo, tiene como refuerzo tres cubos cilíndricos, situados en las dos esquinas del lienzo meridional y en el centro del mismo.

Por todo el perímetro se abren troneras, típicas de finales del siglo XV, y aspilleras, algunas con orbe en su extremo inferior.