Tocó el banjo cuando era niño, pero se cambió a la guitarra por consejo de su hermano mayor, Owen.

Después de su alta, asistió a George Peabody College (ahora parte de Vanderbilt University) en Nashville, estudiando música y acompañó a Eddy Arnold y Bradley Kincaid en el Grand Ole Opry .

En 1954, Owen y Harold construyeron Bradley Film and Recording Studios, más tarde conocido como Quonset Hut, que fue el primer negocio relacionado con la industria de la música en lo que hoy se conoce como Music Row.

Según Guitar Player -Magazine, Harold es el guitarrista más registrado del mundo y es miembro del Nashville A-Team, que se incorporó al Salón de la Fama de la Músico en 2007.

En 1999 fue elegido como Vicepresidente Internacional de AFM y se desempeñó hasta el 2010.