Su familia se trasladó a Los Ángeles, California, cuando él era joven.
En 1953, su madre se casó con Clinton Lee, que adoptó a Arthur y legalmente cambió su nombre por el de Arthur Taylor Lee.
Arthur pasó su infancia y adolescencia en el histórico distrito de West Adams.
Estudió en Dorsey High School, dónde destacó en baloncesto, y mantuvo el récord de más puntos anotados en un solo juego.
Durante sus años en la escuela secundaria, se juntó con su amigo de la familia Johnny Echols (también originario de Tennessee) y formaron varios grupos musicales.