Sholes nació en Washington D. C., y a los nueve años, se mudó con su familia a Merchantville (Nueva Jersey), cerca de donde su padre trabajaba, en la planta de la compañía discográfica Victor Talking Machine Company en Camden.

En la década de 1940, Sholes fichó a Eddy Arnold, The Browns, Hank Locklin, Homer and Jethro, Hank Snow, Jim Reeves y Pee Wee King.

[3]​ En 1957, Sholes convenció a RCA para que construyera su propio estudio de grabación en Nashville, en la Seventeenth Avenue South, que finalmente se convertiría en el RCA Studio B.

[2]​ En el momento de su muerte se encontraba conduciendo de camino a la Universidad Vanderbilt para ver a sus viejos amigos Homer and Jethro, quienes grababan un álbum en vivo.

Sholes fue interpretado por el actor Bart Hansard en la miniserie de la CBS Elvis (2005).