Su padre Henry era un ministro metodista de ascendencia granadina y escocesa, mientras que su madre, Annie Florence Egyriba, estaba emparentada con la realeza del grupo tribal Fante.

[2]​ Con 19 años viajó a Darlington (Reino Unido) para formarse como pastor metodista en el Cleveland College, donde tuvo su primer contacto con el deporte y cosechó buenos resultados en distintas especialidades.

Sus buenas actuaciones llamaron la atención del Preston North End, que le hizo un contrato amateur para la FA Cup de 1887, donde llegó hasta semifinales.

Finalmente, pasó por clubes de inferior categoría como el Stalybridge Rovers y el Ashton North End, hasta que en 1902, a los 36 años, colgó las botas en el Stockport County FC.

[3]​ Wharton no fue el primer futbolista negro de Gran Bretaña; ese honor le corresponde a Andrew Watson, internacional con Escocia en 1881.