Más tarde, los vizcondes llevaron los apellidos de Quermançó y Rocabertí.

En 1285, durante la invasión francesa del Ampurdán, durante la Cruzada contra Cataluña de Felipe el Atrevido, el castillo fue destruido y la población incendiada.

A mediados del siglo XIV fue construido un segundo y nuevo recinto de murallas, más amplio, y el nuevo palacio de los Rocabertí levantó extramuros.

Ha sido objeto de varias reformas y ampliaciones, la fachada oriental es de estilo renacentista y al final del siglo XIX fue nuevamente ampliado, bajo la dirección del arquitecto francés Grant.

Sin embargo, en una parte del castillo se encuentra el casino, y los jardines permanecen abiertos en julio y agosto con motivo del Festival Internacional de Música de Peralada.