Entre ambos conjuntos llegó a existir un tercero conocido como el Palacio de la Reina o del Merino, convertido luego en granero, y hacia 1361 hay constancia de obras en otro más, el del infante don Luis,[2]​ siendo ahora mismo todo ello un solar entre ambas construcciones.

Así, en las torres y muros se presentan en sus cimientos evidencias de su origen en la época romana,[7]​ más concretamente, del siglo I d. C.[6]​[9]​ Sería, pues, un edificio contemporáneo al recinto amurallado que envuelve el núcleo primitivo de Olite.

El palacio contaba con un jardín junto al portal del Fenero y una puerta que daba al prado junto a la capilla.»[13]​ Sancho el Fuerte habría construido un primer palacio[14]​ que sería mejorado por sus sucesores, los condes de Champaña.

[15]​ Será a mitades del siglo XIII cuando se haga la primera mención documental actualmente conocida.

[21]​ La disposición interior actual es totalmente nueva, aunque hay documentos medievales que hablan de la distribución original: un patio central, rectangular, con graneros, caballerizas y despensa.

[17]​ En la fachada principal actual aún se observan dos grandes ventanas góticas construidas en 1414 para la llamada Cámara Larga y realizadas por los ayudantes de Jehan Lome.

[22]​ También junto a la fachada principal estaba en una planta inferior la gran sala de la Cort o tribunal del Rey.

[26]​ Fueron, pues, los avatares de esa guerra la que consumió bajo las llamas esta edificación cuyos restos a lo largo del siglo XIX sufrirán una degradación continua.

[28]​Son un elemento particularmente interesante ya que la existencia de grandes sillares almohadillados en la parte baja son testimonio fehaciente de una antigüedad que nos remite al sigo I d. C.[9]​ llevando con ello a considerar en el aprovechamiento continuado del conjunto durante la Edad Media.