Comenzó tocando la marimba cuando tenía 14 años pero se cambió pronto al xilófono.
Lideró luego su propia orquesta entre 1936 y 1944, contando con el arreglista Eddie Sauter.
En 1944, Norvo, tocando ya el vibráfono, disolvió su banda y se unió al sexteto de Benny Goodman, aproximándose luego al bop: tocó con Charlie Parker y Dizzy Gillespie en 1945, trabajó en uno de los primeros grupos de Woody Herman y grabó con Stan Hasselgard en 1948.
A lo largo de la década, lideró varios grupos y colaboró también con Benny Goodman.
En los sesenta, Norvo se hubo de adaptar tras una seria operación en el oído.