En 1911, mientras que "todavía va a la escuela en pantalones cortos", asistió a una interpretación de Jelly Roll Morton en Harlem y estaba inspirada por el blues.
También compuso la música de diversos espectáculos teatrales de la época y varias piezas para piano y orquesta, incluida una ópera-blues titulada "The Organizer" y con libreto de Langston Hughes.
A lo largo de su carrera musical colaboró con músicos de jazz tradicional como el cornetista King Oliver, el clarinetista Pee Wee Russell, el guitarrista Eddie Condon o el saxofonista soprano Sidney Bechet.
Influyó a artistas como Fats Waller, Willie "The Lion" Smith, Count Basie, Duke Ellington, Art Tatum y Thelonious Monk entre otros.
Las composiciones de James P. Johnson han sido usadas como música cinematográfica en diversas películas, entre las que se incluyen:[2]