Cerca se halla el cañón del río Lobos cuya parte final es totalmente visible desde la fortaleza.

El propio castillo se asienta sobre los restos de un castro celtíbero.

La necrópolis de San Martín, visigótica, las construcciones romanas van dejando ver la continuidad del asentamiento en estas tierras.

Honorato Juan coloca su escudo de armas sobre la entrada principal en el siglo XVII.

La utilización del castillo por el obispado de Osma ha sido muy dispar, desde mansión palaciega para los obispos (los cuales acudían a solazarse con la pesca de la trucha en el acotado río Ucero) hasta cárcel para clérigos.

El acceso se realizaba por una serie de rampas y un puente levadizo.

En el exterior, hay varias gárgolas; una de ellas tiene tres figuras y otra tiene una figura que está sujetando algo mientras que sobre ella se puede ver un águila agarrando una serpiente.

Hay un pasaje subterráneo que baja desde el castillo al río Ucero recorriendo en zigzag la ladera del cerro.