Miguel, el último conde de Gruyères, tuvo problemas financieros, que le llevaron a declararse en bancarrota en 1554.

Puesto a la venta, pasó a ser propiedad de la familia Bovy y, más tarde, de la familia Balland, quienes lo utilizaron como residencia veraniega y, junto con sus amigos artistas, lo restauraron.

El castillo pierde así su aspecto de fortaleza y se convierte en una residencia señorial.

Camille Corot, Barthélemy Menn y otros reconocidos artistas pintan paisajes de inspiración romántica, así como escenas historicistas.

También se producen otros tipos de queso como el Vacherin fribourgeois, también protegido por una AOC suiza.