Tras su bachiller, consiguió en 1754 el diploma de licenciado in utroque jure, es decir, en derecho civil y canónico.
Su madre, amiga íntima de Voltaire (amistad que hizo suponer durante mucho tiempo que Villette habría sido hijo natural de Voltaire), y conocida tanto por su inteligencia como por su belleza, le presentó al filósofo.
Bajo los auspicios del filósofo, al que llamaba «su padre» sin miedo, Villete se lanzó en el mundo literario, escribió muchos versos, se presentó a varios premios de la Academia francesa que no obtuvo y, sobre todo, elogió a Voltaire de todas las formas posibles, que se lo devolvió con creces, llamándole el «Tibulo francés».
Tanto Charles como Philiberte se mantuvieron fieles a Voltaire, que murió en su palacio de París en 1778.
Enfermo en el momento del proceso de Luis XVI, pudo tomar parte en la votación, tomando partido contra la voz del pueblo, a favor de la detención y el destierro, así como por el sobreseimiento.
Fiel a sus amigos, mostró durante la Revolución una auténtica valentía, sosteniendo sus opiniones a la vez en contra de los prejuicios de la nobleza y contra los excesos revolucionarios.
La reliquia, conservada por su hijo, fue donada en 1864 al gobierno, que la colocó en la Biblioteca Imperial.