Ya profesional, tocó con Edmond Hall y, después, con su propio trío, con el que tocó regularmente, durante veinte años, en el Village Vanguard de Nueva York.

A partir de 1963, se convierte en asiduo acompañante de diversos cantantes, entre los que se incluyeron Eartha Kitt, Joe Williams, Helen Humes, Georgia Gibbs y Harry Belafonte.

Vuelve con Ella Fitzgerald a mediados de la década de 1970 y, sobre todo, regresa al formato trío para tocar en clubs.

Larkins ha quedado en la historia del jazz como un relevante acompañante, debido en parte a la escasez de grabaciones como titular, pero sobre todo por su musicalidad, sensibilidad e inteligencia que convertía cada acorde en algo importante.

Su estilo le granjeó una gran popularidad entre el público blanco.