Fue en el club castellano donde colgó las botas en 1999, convirtiéndose poco después en su entrenador, dando comienzo a su carrera como técnico.
[4] Tras dirigir al Real Zaragoza B durante unos meses, y tras la destitución del entrenador del primer equipo Marcelino García Toral, Gay toma las riendas del primer equipo, en primera instancia de manera interina[5][6] y después confirmado hasta final de temporada.
[7] Ese año logró la permanencia en la penúltima jornada,[8] logrando buenos resultados teniendo en cuenta que cogió al equipo en puestos de descenso y con una gran fractura en la afición y en los futbolistas.
En la temporada 2010-2011, con el Real Zaragoza como colista tras diez jornadas, José Aurelio Gay fue destituido como entrenador del conjunto aragonés, siendo sustituido por Javier Aguirre.
[13] Después del salto de José Manuel Díaz al Real Madrid Casilla en noviembre de 2013, José Aurelio Gay ocupó su vacante al frente del Real Madrid C.[14] En junio de 2015, el tercer equipo madridista desaparece, por lo que Gay se quedó sin trabajo.