Tras un breve período alejado del fútbol, en 1960 comenzó su carrera como entrenador en el Dunfermline Athletic Football Club, en seis semanas consiguió salvar al equipo del descenso y a la temporada siguiente obtuvo con el club su primera copa de Escocia.
En 1964 se hizo cargo del Hibernian Football Club y ganó la Copa de Verano.
El 9 de marzo de 1965 se convirtió en el primer entrenador no católico del Celtic en toda su historia.
En el equipo escocés ganó diez ligas (nueve de manera consecutiva), ocho copas escocesas, seis Copa de la Liga de Escocia, 5 Copas Glasgow, el torneo , el trofeo del Oso Polar, la copa Drybrough, y en 1967 el mayor logro en la historia del Celtic: la Copa de Campeones de Europa, a la que en 1970 llegó a la final.
Unos meses antes, Jock Stein había contratado al joven Alex Ferguson para que fuera su asistente, quien lo sucedió en el cargo tras su muerte.