Durante sus años de escuela, sus habilidades habían crecido lo suficiente como para que McCoy decidiese comenzar una carrera musical.
Tras su llegada, su amigo le dejó entre el público y habló con Happy Harold, anfitrión del espectáculo, con la intención de que sacase a McCoy al escenario para cantar.
Durante este tiempo, la banda participó también en un concurso local de rock and roll donde ganó el primer premio.
Durante su estancia en Nashville visitó a numerosos productores y compañías discográficas, pero no obtuvo ningún resultado.
McCoy grabó su primer sencillo para Cadence y «Cherri Berri Wine» alcanzó el puesto 99 en la lista Billboard.
En Nashville, Denney le aconsejó que hiciera sesiones de demostración y se concentrase en tocar la armónica.
Su primera grabación fue en la canción «I Just Don't Understand» de Ann-Margret para RCA, donde tocó la armónica.
Su reputación como músico de sesión comenzó a crecer y continuó grabando para el sello Monument sin un contrato escrito.
Desde entonces, tocó la armónica en grabaciones de músicos como Elvis Presley, Perry Como, Joan Baez, Johnny Cash, Buffy Sainte-Marie, Kris Kristofferson, Paul Simon, Ringo Starr, Barefoot Jerry y Ween.