[5]​ En 1938 se enroló en la Armada de Estados Unidos y posteriormente se instaló en Richmond, California, donde comenzó a tocar en el Club Savoy, propiedad de su cuñada Willie Mae "Granny" Johnson.

En 1963 compuso y grabó el tema "Club Savoy" para su álbum Just Gotta Know.

Publicó su sencillo debut, para Globe Records, "Miss Mattie Left Me", en 1945,[7]​ seguido de "Street Loafin' Woman" en 1946.

Fundó su propia banda llamada Jimmy McCracklin and his Blues Blasters en 1946, con el guitarrista Robert Kelton, más tarde reemplazado por Lafayette Thomas que permaneció en el grupo hasta principios de la década de 1960.

[11]​ Bob Dylan citó a McCracklin como uno de sus músicos favoritos.