Se educó en Dresde como músico freelance (clásico y jazz) en los años treinta.
En 1938 fue elegido como segundo violinista para comenzar con el «Cuarteto de Cuerda de Oslo», y al año siguiente comenzó su propia orquesta, la orquesta Bristol (en el Hotel Bristol), que funcionó durante la ocupación alemana de Noruega.
Su orquesta fue utilizada para las grabaciones de, entre otros, Alf Prøysen, y fue con sus 24 músicos a NRK cuando Bergh fue nombrado director en 1946.
Fue el hermano de Sverre Arvid Bergh, y juntos dirigieron la producción de Cabaret en el Oslo Nye Teaters en 1968.
Su libro Moderne dansemusikk se publicó en 1946, y su autobiografía Takt og tone en 1977.