Su nombre completo era Carl Milton Smith, y nació en Maynardville, Tennessee (Estados Unidos).

[4]​ Ideó seguir la carrera musical tras escuchar el programa radiofónico Grand Ole Opry, y se pagó clases de guitarra vendiendo semillas en su adolescencia.

[6]​ En 1951 tuvo otros tres éxitos, entre ellos "If the Teardrops Were Pennies", y su primer número 1, "Let Old Mother Nature Have Her Way".

Su grupo, los Tunesmiths, incluía al instrumentista de steel guitar Johnny Silbert.

Entre sus canciones de mayor fama figuran "Loose Talk", "Hey Joe" y "You Are the One".

En 1956 dejó Grand Ole Opry y poco después se incorporó al The Phillip Morris Country Music Show, pasando más de un año en gira por los Estados Unidos, a menudo en competición directa con los shows Opry.

En 1957 actuó en las películas The Badge of Marshal Brennan y Buffalo Guns, y se casó con la cantante de country Goldie Hill, conocida por la canción número 1 "I Let the Stars Get In My Eyes".

Entre sus temas top-20 de la época se incluyen "Air Mail To Heaven" (1962) y "Take My Ring Off Your Finger" (1964).

También presentó Carl Smith's Country Music Hall en Canadá, a serie de redifusión.