En su juventud se destacó por su coraje; ayudó a muchos refugiados húngaros que huían de la invasión soviética en 1956, y llegó al extremo de arriesgar su propia vida en una riada.

Stoltenberg mantuvo esta historia en secreto hasta que, en diciembre de 2006, Farber la reveló en el programa televisivo noruego Først & sist.

En 1979 se integró al gabinete de Odvar Nordli como ministro de Defensa, permaneciendo en el cargo hasta 1981.

Se casó con Karin Heiberg (1931-2012), quien fuese activista política y genetista, y con la que tuvo tres hijos: Camila Stoltenberg —n.

1958, física e investigadora y directora general del Instituto Noruego de Salud Pública—, Jens Stoltenberg —n.