Nacido en Bar-le-Duc, Lorena, entró en el ejército a los 16 años, alistándose como voluntario en el 3.er batallón del Ejército Revolucionario Francés del Mosa (1791).
Durante el Primer Imperio Francés acompañó a Murat en las campañas contra la tercera y cuarta coaliciones (en el Imperio austríaco, Prusia, y Polonia, 1805-1807).
Al recuperar su libertad en 1811 fue a Nápoles, donde Murat, que era el rey, lo designó gran señor de la caballería.
En la retirada de Moscú, su inquebrantable valentía fue notablemente manifestada en varias ocasiones.
Cuando ocurrió la primera Restauración Borbónica, Exelmans conservó su posición en el ejército.