Sin embargo, en 1924 se marchó a Chicago, donde tocó en clubs como pianista y organista hasta que se incorporó, en 1925, a la banda de King Oliver, convirtiéndose en su director cuando Oliver dejó la banda.

En 1927, se instalaron en Nueva York y, ya en 1929, acompañaron a Louis Armstrong durante varios meses.

Russell es el primer líder de orquesta que denomina a su grupo como big band.

En 1935 su banda toca para Louis Armstrong, que decide comprarla, dejando a Luis Russell como su director y arreglista, permaneciendo con él hasta 1943, cuando volvió a montar su propia big band, con la que realizará giras hasta 1948.

Ese año, Russell abandonó prácticamente la música activa, para dedicarse al comercio y a la enseñanza.