Se unió al popular Ben Pollack en 1935 y a comienzos de 1937 se unió a la orquesta de Benny Goodman.

En febrero de 1939 Harry James debutó con su propia big band en Filadelfia, con la que seguiría trabajando hasta los años ochenta.

La suya fue la primera orquesta en la que trabajó empleado de forma continuada Frank Sinatra (1939).

Su música suena también en la película de Woody Allen Hannah y sus hermanas.

James grabó numerosos temas populares y apareció en muchas películas de Hollywood.