Su madre era de Nueva York y se había graduado en el Vassar College con una educación liberal a la que le encantaban los libros.
Al año siguiente su padre leyó un artículo en el Hollywood Reporter, donde se preguntaba ¿Tienes un Tarzán junior en el patio de atrás?.
La Metro Goldwyn Mayer estaba buscando un niño para que interpretara al hijo de Tarzán en su siguiente película protagonizada por Johnny Weissmuller y Maureen O'Sullivan.
Johnny Sheffield fue elegido por Weissmuller entre más de 300 actores juveniles para interpretar a "Boy" en la película Tarzán y su hijo (1939).
Con el paso de los años colaboró con otros actores como Jeanette MacDonald, Pat O'Brien, César Romero, Ronald Reagan y Beverly Garland.
También protagonizó un episodio piloto para una serie televisiva, Bantu, the Zebra Boy, que fue creada, producida y dirigida por su padre, Reginald Sheffield.