Sin embargo, existen discrepancias en esta atribución.
Entre otros, el profesor Ramón Corzo Sánchez y el arqueólogo Pedro Marfil creen que no se trata de un palacio ni tuvo nada que ver con el emperador, sino que se trató de un gran edificio mandado construir por el obispo Osio en honor de San Acisclo.
Entre otras razones, se argumenta que el edificio está construido utilizándose una unidad de 80 cm, que es una medida de arqueología cristiana, no siendo por tanto probable que se hiciera bajo el mandato del emperador Maximiano Hercúleo.
También se ha encontrado una gran necrópolis cristiana, que siguió siendo usada durante la época islámica.
En esta necrópolis se han hallado dos obispos: Lampadio y Samsón.