Martin nació en Sneedville (Tennessee),[1] y se crio en la dura vida agrícola del este rural de Tennessee, cantando en la iglesia y con amigos de las granjas circundantes.
Martin, que quería postularse para el puesto vacante como guitarrista, tomó el autobús hasta Nashville y se coló entre bastidores en el Grand Ole Opry.
Mientras tocaba su guitarra, fue escuchado por el banjo de los Blue Grass Boys, Rudy Lyle, quien lo presentó a Monroe.
[2] Martin tenía una personalidad muy nerviosa y exuberante, e inevitablemente chocaba con el temperamento igualmente obstinado de Monroe.
Dejó Monroe y trabajó brevemente con los Osborne Brothers hasta que formó su propia banda, The Sunny Mountain Boys, en 1955.
Hizo apariciones frecuentes en Louisiana Hayride y Wheeling, el WWVA Jamboree de West Virginia (rebautizado como Jamboree USA en la década de 1960), así como en el Grand Ole Opry, pero nunca fue invitado a unirse a este último.