Nacido en Nueva Orleans, Luisiana, inició su carrera profesional en su ciudad natal a los 16 años de edad, debutando para la industria discográfica en 1930.

Trabajó para las orquestas de Ben Pollack y Bob Crosby, permaneciendo con este último hasta que el grupo se disgregó en 1942.

Durante un breve tiempo, antes de ser llamado al servicio militar, tuvo una banda propia.

Miller también compuso canciones, siendo la más conocida Slow Mood, más tarde titulada Lazy Mood tras haberle puesto letra Johnny Mercer.

En 1998, a Miller se le incorporó en el Salón de la Fama de las Big Band y el Jazz (The Big Band and Jazz Hall of Fame, 1978 – 2004).