Grabó su primer disco,«Somewhere to Lay My Head«, con el sello discográfico Vee Jay Records en la década de 1950 como parte del grupo The Highway QC's.

Su modo de cantar, similar al de Sam Cooke, hizo que en 1957 fuera contratado por el grupo góspel al que éste pertenecía, “The Soul Stirrers” cuando Cooke dejó la formación par iniciar su carrera en solitario.

Unos años más tarde, después de que Cooke se asentara con su compañía discográfica independiente SAR Records, Taylor fue fichado y grabó "Rome Wasn’t Built In A Day" en 1962.

En la década de los años 1970 la discográfica Stax quebró y Johnnie Taylor pasó a Columbia Records en dónde grabó su éxito más conocido, «Disco Lady» en 1975.

Columbia intentó promoverlo como un artista disco y comenzó a descuidar el amplio talento de Taylor.