Era el hijo del decorador Christoffer Sergel y Elisabet, y hermano de la decoradora Anna Brita Sergel.

Después de estudiar durante algún tiempo en París, se fue a Roma.

Reclamado por Gustavo III, Sergel regresó a Estocolmo en 1779 y continuó produciendo sus obras allí.

Entre estas se encuentran la tumba para Gustavo I de Suecia, un monumento a Descartes, y una obra sobre de la Resurrección en la iglesia de Saint Clarens en la capital sueca.

El Museo del Prado posee un conjunto escultórico suyo.