En su etapa como jugador profesional se desempeñaba como lateral izquierdo.

[1]​ Irónicamente, no debería haber estado en posición de marcar gol, debido a que la orden era que pase solamente un lateral al ataque y el otro se quede en la defensa, indicación a la cual Gemmell hizo caso omiso.

Se retiró como jugador en 1977, pero siguió en el Dundee como entrenador ese mismo año hasta 1980.

En 2002, fue incluido en el once ideal histórico del Celtic.

En 2006, fue incluido en el Salón de la Fama del Fútbol Escocés.