Desde Villatoro por la carretera de Vadillo de la Sierra El Señorío de Villatoro lo constituye Alfonso XI para la familia del obispo D. Sancho Blázquez Dávila, que había protegido eficazmente los derechos de la corona durante su minoría de edad; corresponde, por tanto, al segundo cuarto del siglo XIV.
Situado el pueblo de Villatoro en el extremo occidental del Valle de Amblés, su castillo defiende el paso al Valle del Corneja por el puerto de Villatoro[2] Los restos conservados se reducen a un cubo incompleto, cimientos de otros y parte de sus lienzos de mampostería y sillería aprovechados para construcciones rurales, que son parte de una planta cuadrada con cubos en las esquinas.
Mantiene dos arcos de ingreso por el interior y por la tronera-buzón que posee, puede fecharse a principios del siglo XVI, constituyendo con el de Aunqueospese y Magalia, las grandes innovaciones constructivas de las ramas Dávila en sus dominios.
Se levanta en un punto estratégico cuyo valor permanece con los siglos; por eso perdura aún en el siglo XVIII, un jefe militar a su frente, representante del señor, ya que en el Catastro de Ensenada se refleja que los vecinos: .
Está protegido genéricamente desde 1949 ;[1] y es Bien de Interés Cultural.