Graduado de l'École Normale Supérieure Paris en 1886, fue alumno de los matemáticos franceses Charles Hermite y Jean Gaston Darboux.
Su padre (que tenía los mismos nombres) era ingeniero civil y político.
Poco después, Stieltjes comenzó a escribirse con Charles Hermite, lo que duró el resto de su vida.
En 1884, Hermite y el profesor David Bierens de Haan organizaron un doctorado honorario para ser otorgado a Stieltjes por la Universidad de Leiden, lo que le permitió convertirse en profesor.
En 1885, fue nombrado miembro de la Real Academia Holandesa de Ciencias, al año siguiente se convirtió en miembro extranjero.