Comenzó a tocar muy joven, pero se desarrolló profesionalmente en la década de 1930, en los clubs de Kansas City, lugar al que se había trasladado buscando su escena jazzística.

En 1937 formó su propia banda —en la que estaba incluido un joven Charlie Parker como saxofonista— con la que viajó a Chicago y, entre 1940 y 1943, realizaría giras por todo el país, incluido Nueva York.

Posteriormente, regresó a Kansas City, ciudad donde tocaba habitualmente en clubs y donde permaneció hasta su muerte.

En los años 1960, solía realizar viajes a Europa, donde tocaba en trío.

Jay McShann es una de las grandes figuras del "estilo Kansas City", junto a Bennie Moten y Count Basie, con quien tiene ciertas similitudes como pianista, especializado en blues y boogie woogie, aunque también se acerca a la línea de pianistas más "clásicos", como Earl Hines.