Smith nació el 7 de abril de 1932, en Gans, Oklahoma, y fue criado en Oakland, California.

Comenzó su carrera musical tocando en el Cafe Remember Me en San Francisco a la edad de 15 años, pero no fue un éxito financiero en un primer momento.

A lo largo de la década de 1950, no pudo continuar su carrera musical, por lo que trabajó en varias otras labores como camionero y domador de caballos.

[2]​ Smith y su esposa, Darlene, vivían en la zona de Branson, Misuri.

Le sobreviven su esposa, hijo, cinco nietos y 15 bisnietos.