Hijo de un escultor-ebanista, creció en París, en el Faubourg Saint-Antoine.

El rey le ofreció su ayuda financiándole los estudios en la Academia Francesa en Roma.

Tuvo dos hijos : Flore Catherine Pajou, que se casó con el escultor Clodión, y Jacques Augustin Catherine Pajou (1766-1828) que fue pintor historicista y retratista.

Pajou fue maestro de los escultores Philippe-Laurent Roland, Jacques-Edme Dumont, David d'Angers.

El Courtauld Institute of Art (Londres), la Frick Collection (Ciudad de Nueva York), Harvard University Art Museums (Cambridge, Massachusetts), el Museo del Hermitage (San Petersburgo, Rusia), la Honolulu Academy of Arts, el J. Paul Getty Museum (Los Ángeles, California), el Louvre, el Metropolitan Museum of Art (Ciudad de Nueva York), el Museo de Bellas Artes, Boston, Museum of Fine Arts, Lyon, Francia, Museo de los Agustinos (Toulouse, Francia), Museo de Bellas Artes de Nantes, Francia, Musée National du Château, Pau, Francia, la National Gallery of Art (Washington D. C.), la National Gallery of Australia (Canberra) y los Museos reales de Bellas Artes de Bélgica.