Residió brevemente en Louisville, Kentucky, para luego regresar a Decatur para comenzar su propio grupo musical.

Tocó en muchas sesiones de grabación con Elvis Presley e hizo lo propio en las bandas sonoras para muchas películas de Presley, siendo una canción muy popular el tema «Return to Sender».

Estuvo presente en muchas grabaciones del guitarrista Chet Atkins, con quien solía actuar.

Boots With Strings de 1966 alcanzó el puesto 36 y se mantuvo en la lista durante casi dos años.

[6]​ En 1977, Randolph abrió un exitoso club propio en el Printer's Alley de Nashville.