Vivió en Chicago ya desde niño bajo la atención de su madre y abuela, rodeado del mundillo del jazz, blues y gospel.

En 1943, fue contratado por la orquesta de Lionel Hampton, con la que realizó varias giras en los años siguientes, aunque no llegó a alcanzar un gran éxito.

[3]​ Su llegada a la popularidad se produjo cuando se convirtió en el cantante de la orquesta de Count Basie en 1954, orquesta en la que permanecería durante varios años.

Su gran éxito fue "Everyday I have the Blues".

[3]​ Tras dejar la orquesta de Basie, Williams siguió teniendo éxito trabajando con su propio combo de jazz, aunque realizó apariciones esporádicas con Basie.