Hizo su debut el 1 de octubre de 1966 en casa del Leicester City , y aunque el resultado fue una derrota por 4-2, inmediatamente se convirtió en un habitual del Arsenal.

[5]​ Continuaría jugando doce partidos en los próximos dos años para Escocia , anotando tres goles.

La temporada siguiente terminaron noveno y en 1984-85 ascendieron a la antigua Segunda División.

Un mes después de llegar a Highbury , Graham se vinculó con la selección nacional de Escocia , posiblemente combinando con el trabajo del entrenador del Arsenal, pero ese papel fue para Andy Roxburgh en su lugar.

Si bien el Arsenal perdió la final de la Copa de la Liga al año siguiente (una sorprendente derrota por 3-2 ante el Luton Town), se mantuvo constante en la liga.

Sin embargo, contrariamente a la creencia popular, durante este tiempo el Arsenal no era un equipo puramente defensivo; Graham también construyó un centro del campo impresionante que contenía a David Rocastle , Michael Thomas y Paul Merson , y el delantero Alan Smith , cuya prolífica anotación de goles le reportó regularmente más de 20 goles por temporada.

Después de terminar cuarto en 1989-90, Graham fichó al portero David Seaman y al extremo sueco Anders Limpar en la temporada cerrada; ambos jugadores resultaron vitales cuando el Arsenal ganó un segundo título en 1990-1991 y alcanzó las semifinales de la FA Cup, perdiendo ante su archirrival Tottenham Hotspur.

La temporada 1991–92 trajo más decepción cuando los Gunners fueron eliminados de la FA Cup en la tercera ronda por el humilde Wrexham, aunque al Arsenal le fue razonablemente bien en la liga, terminando cuarto.

Entre 1986–87 y 1991–92 , el Arsenal promedió 66 goles en la liga por temporada (anotó 81 en 1991–92), pero entre 1992–93 y 1994–95 solo promedió 48; esto incluyó solo 40 en 1992–93, cuando el club terminó décimo en la temporada inaugural de la Premier League, anotando menos que cualquier otro equipo en la división.

Pero, por supuesto, todo eso no tuvo relación con el despido de Graham, que se debió más a sobres de dinero, ya que la palabra "tapón" se incrustó en el léxico del fútbol.

Su salida del Arsenal marcó el cierre de un capítulo en el que los Gunners se habían hecho un nombre como un equipo de aguafiestas, admirados por su imperturbable apego a una estrategia compacta.

Después del quinto partido de la temporada, reemplazó a Howard Wilkinson .

Graham fue designado rápidamente, pero no pudo tener un impacto inmediato, lo que llevó al Leeds a cinco derrotas de sus primeras seis en la liga y otra derrota ante el Aston Villa en la Copa de la Liga.

Pero muy pronto, los métodos del entrenador escocés comenzaron a dar sus frutos de una manera brutalmente eficiente.

Llenar la defensa con tantos cuerpos como sea posible, conLucas Radebe convirtiéndose en un operador de primera clase y Nigel Martyn ofreciendo un fuerte argumento para ser el Número 1 de Inglaterra.

No solo se mantuvieron despiertos, sino que de alguna manera terminaron 11º.

Esa temporada resultaría útil para sentar bases organizativas sólidas para los años venideros.

Jimmy Floyd Hasselbaink firmó en el verano de 1997, anotó 16 goles en la Premier League y 22 en todas las competiciones, ya que Leeds terminó quinto durante la única temporada completa de Graham a cargo, mientras que el club continuó su ascenso con su ex asistente y sucesor David O'Leary .

Los representantes legales de Graham emitieron un comunicado expresando que estaba "conmocionado y molesto por haber sido despedido y no podía creer que se hubiera dado una excusa tan endeble".