Escuchando discos que su madre compraba desarrolló un estilo vocal con raíces en el jazz, el R&B y el pop.
Paul formó un trío y grabó su primer disco, Why Am I, antes de ser llamado a filas.
A su regreso se unió al sello New Dawn, quienes le pusieron en el grupo de Harold Melvin.
Posteriormente grabó los álbumes Feeling Good at the Cadillac Club y Ebony Woman.
Luego vendría Going East, con el sello Philadelphia International Records, el cual le trajo más reconocimiento del público, pero no sería hasta 360 Degrees Of Billy Paul con el que lograría el éxito comercial y de crítica principalmente gracias a la canción «Me and Mrs.