Más tarde, después de que los romanos abandonaran los yacimientos, el papel que realizaba es relegado a un segundo plano durante el dominio visigodo, reapareciendo posteriormente como destacado castellum en la España cristiana de los siglos IX y X.

A comienzos del siglo XI, según los primeros documentos hallados, el castillo de Ulver aparece como un castillo importante, en aquellos primeros tiempos de la Reconquista.

Desde 1093 hasta 1108, aparece Jimena Muñiz como tenente de dicha fortaleza, la cual mantuvo una relación con el rey Alfonso VI de León y Castilla, con el que tuvo dos hijas, Teresa y Elvira.

En 1211, Alfonso IX, tras hacer las paces con la Orden del Temple, dona a los Templarios la villa de Ponferrada, los cuales la fortifican.

Por tanto, en este año, los templarios ya se hallaban en posesión del castillo de Ulver.

El castillo es heredado por Rodrigo Álvarez Osorio, que al fallecer en 1430, su posesión pasa a Pedro Álvarez Osorio, I conde de Lemos,[1]​ del mismo nombre que su abuelo.

En 1486, los Reyes Católicos actúan para solventar los problemas, creando el marquesado de Villafranca del Bierzo para Juana y su marido Luis Pimentel.

En 1507, Rodrigo vuelve a tomar Ponferrada y a asediar los castillos de Corullón y Cornatel, que se encontraba en desacuerdo con la decisión tomada por los Reyes Católicos.

En el año 2006 es abierto al público por primera vez, contando en la actualidad con una exposición permanente.

Este festejo se empezó a celebrar en 2003, incrementando cada año el número de visitantes.