Nació en Troy, Pensilvania, hijo de Frank Ballard, un joyero-óptico, y Lucille, una soprano.
Estuvo casado con Hilda Gramlich, diseñadora de vestuario.
A Pat Ballard le sobreviven varios familiares, incluido el desarrollador de juegos Gabriel Ballard.
Compuso varias canciones, siendo las más populares «Mr.
Sandman» y «(Oh Baby Mine) I Get So Lonely».