No obstante, vio cómo su principal política educativa fue aprobada el 15 de marzo de 1850: la Loi Falloux (Ley Falloux) que organizaba la enseñanza primaria y secundaria.

Esta ley preveía la libertad de enseñanza para el clero secular y las órdenes religiosas masculinas y femeninas, cuyos miembros podrían enseñar sin más cualificación que una lettre d'obédience ("carta de obediencia"), mientras que a los laicos se les exigía un grado universitario para enseñar en los lycées.

Opuesto al régimen imperial, no ocupó ningún cargo bajo el Segundo Imperio francés.

Se retiró a sus posesiones de Le Bourg-d'Iré, en Anjou, desde donde siguió participando en la vida política mediante sus artículos en Le Correspondant, revista del entorno del catolicismo liberal (Charles de Montalembert y Augustin Cochin).

El distanciamiento fue tan significativo que llegó a ser excomulgado por el obispo de Angers (1876).