Era hermano del barón Jean-François Defermon (1762-1840), prefecto y diputado.

En 1783 se casó con Jeanne Duboys des Sauzais, hija de un fiscal en el Parlamento de Bretaña en Rennes, de quien se hizo cargo.

Son los padres de Jacques y Joseph Defermon des Chapelières, así como los abuelos de César-Auguste Ginoux-Defermon.

Partidario de nuevas ideas, participó en 1787-1788 con sus colegas Lanjuinais e Le Chapelier en el movimiento reformista que sacudió los parlamentos.

A partir de entonces siguió el movimiento revolucionario y se puso del lado de los patriotas.