El acceso por el SO, desde la ermita de Sant Onofre, en Palau Sabardera, es mucho más empinado y escarpado.

Una primera etapa, plenamente románica, desde el siglo IX hasta finales del siglo XIII, en la que se construyó el primitivo castillo, inicialmente condal y después monacal, que los documentos de la época llaman «castillo de Verdera».

Aunque esto permite suponer que este castillo ya existía al menos durante el siglo IX, la arqueología demuestra que sobre la cresta de la Verdera había habido una fortificación desde época remota.

Pronto, sin embargo, el hijo y sucesor de Gausfredo en Ampurias, Hugo I, discutió esta merma de su patrimonio y ocupó bienes del monasterio, entre los que se encontraba este castillo.

El papa Benedicto VIII le conminó, con amenaza de las máximas penas espirituales, a subsanar este hecho, y parece que finalmente el conde regresó estos dominios al monasterio, con el que ya se había reconciliado en 1022, donde asistió personalmente a la consagración de la nueva basílica, y así lo ratificó con nuevas donaciones en los años posteriores.

Probablemente entonces fue construida la iglesia de San Salvador, que siempre dependió eclesiásticamente del monasterio.

A finales del siglo XIII resurgieron las disputas entre el conde y el abad por la posesión de la fortaleza.

A esta iniciativa corresponde el potente recinto amurallado y la torre del homenaje, situada al lado de la antigua iglesia.

Aunque no hay constancia, parece que los acuerdos de 1283 y los acontecimientos inmediatos establecieron de facto un condominio del castillo, que quedó permanentemente ocupado por los condes, si bien bajo la jurisdicción del monasterio.

En su testamento (1309), Ponce indemnizó al monasterio por la ocupación del castillo y le ofreció garantías de no agresión.

Personaje culto y brillante, Juan I tuvo predilección por San Salvador, desde donde podía contemplar todos sus dominios, y se hizo construir una estancia personal, seguramente en la torre del homenaje.

Ya inhabitable e inútil para la milicia, lo que quedaba del castillo debió regresar de inmediato a manos del monasterio, que lo poseía en el momento de la exclaustración (1835).

Aunque anterior a la obra de 1283, quedó perfectamente integrada en esta última.

Se accedía por este pórtico, que comunicaba con la torre del homenaje, y por una puerta situada en el muro N. Se conservan restos importantes de los muros laterales, el frontis y del pórtico con su bóveda aún en pie.

La altura regular de esta muralla hace sospechar una destrucción intencionada del conjunto.

Según una de las versiones, quizá la más conocida, la última «reina mora» del lugar, una vez vencido y muerto su marido por los cristianos, habría intentado dirigir la resistencia con su caballo que, enloquecido, se lanzó con ella risco abajo, y aún hoy serían audibles los lamentos de la dama en el fondo del risco.