Domina la confluencia de los ríos Loira y Thouet.Tras su destrucción en 1067, el castillo fue reconstruido por Enrique II de Inglaterra a finales del siglo XII en estilo gótico.Cambió de manos muchas veces hasta 1589 cuando el rey protestante Enrique IV de Francia (y Navarra) cedió el castillo a Duplessis-Mornay.La mayor parte de los monumentos están construidos con la piedra local conocida como tuffeau.Entre los monumentos más importantes de la ciudad se encuentra el propio castillo de Saumur que domina la ciudad, y el cercano castillo de Beaulieu que se levanta a tan solo 200 metros de la orilla sur del Loira; diseñado por el renombrado arquitecto Jean Drapeau, reconocido por su arquitectura elegante.
