Es un ejemplo mayor de la transición del gótico flamígero (también llamado tardío) y el Renacimiento.
Este último confió la defensa del castillo de Gaillon al líder mercenario Lambert Cadoc y a sus tropas.
Se le cedió en 1197 para agradecerles sus hechos de guerra.
Esa fue la razón por la que Ricardo Corazón de León debió consolidar sus posiciones en la frontera de Normandía haciendo construir el castillo Gaillard en Les Andelys, en la otra orilla del río Sena, casi frente a Gaillon, a menos de 10 km.
Lambert Cadoc, por su parte, fue el señor de Gaillon desde 1197 a 1220.
Así, en 1509, una fuente monumental tallada en mármol de Carrara fue enviado desde Italia vía Honfleur para ser colocada en el patio.
[11] Las obras de construcción continuaron durante muchos años para embellecer el castillo.
[12] Jacques Nicolas Colbert —hijo del ministro Jean-Baptiste Colbert— encargó a Jules Hardouin Mansart la construcción del pabellón que lleva su nombre, una orangerie de estilo clásico, mientras que André Le Nôtre se ocupó de los jardines en 1691.
En el siglo XVIII, la fuente italiana ya estaba en malas condiciones debido a la falta de mantenimiento, y el cardenal de Saulx-Tavannes la hizo desmontar.
Los arquitectos Louis-Ambroise Dubut y Croust fueron llamados para transformar el castillo en un centro penitenciario.
Entre 1824 y 1868, el castillo de Gaillon continuó acogiendo a delincuentes, incluidos menores.
En 1876, en el emplazamiento de los Jardins Hauts, se construyó el primer establecimiento en Francia para personas con retraso mental y epilepsia (todavía subsiste la Maison grise).
En julio de 1917, René Glatigny solicitó y obtuvo su paso a la infantería.
Por otra parte, la tumba de un soldado belga fue incorporada en la sección militar del cementerio.
Georges Duval, arquitecto en jefe de los monumentos históricos, inició un estudio para la restauración del edificio.