[1]​ Se desempeñó como medio izquierdo y jugó por primera vez para el Ellesmere Port Town.

Durante la guerra, Mercer fue invitado por Chester City, haciendo su debut en una victoria por 4-1 sobre Halifax Town en septiembre de 1942.

Mercer inicialmente decidió retirarse en mayo de 1953, pero pronto se retractó y regresó al Arsenal para la temporada 1953-54, sin embargo se rompió la pierna en dos lugares tras un choque con su compañero Joe Wade en un partido contra el Liverpool el 10 de abril de 1954, y finalmente puso fin a su carrera futbolística al año siguiente.

Mercer fue designado para reemplazar a Reg Freeman, quien había muerto durante la temporada cerrada.

En 1970-1971, tuvo una disputa con su asistente Malcolm Allison, después de que los dos hombres se involucraran en la batalla por la adquisición del Manchester City.

Esto llevó a Mercer a ascender para convertirse en director general del Manchester City en octubre de 1971, y Allison asumió el cargo de director del equipo.

Durante su tiempo a cargo, Inglaterra ganó el campeonato del British Home Championship de 1974, que se compartió con Escocia.