Luego fue nombrado Conde del Imperio en 1808 y par y marqués en 1817, bajo la Restauración borbónica en Francia.[1] Su reputación de moderación lo llevó al Directorio (20 de mayo de 1797); pero esta misma moderación y las afinidades realistas que se le suponían, hicieron que fuera excluido pocos meses después en el golpe de Estado del 18 de fructidor del año V. Deportado a Cayena, poco después fue trasladado con sus compañeros de desgracia a los pestilentes desiertos de Sinnamary; pero logró escapar y fue acogido en la Guayana Holandesa, donde le proporcionaron los medios para viajar a Inglaterra.Luego fue nombrado en 1808 por Napoleón conde del Imperio.Tras unirse a la Restauración, fue uno de los comisarios encargados por Luis XVIII de redactar la Carta de 1814 y luego fue nombrado par y marqués.En 1819 hizo una famosa propuesta cuyo objetivo era restringir los derechos electorales.