Como entrenador es conocido por haber ganado la Copa Perú en cinco oportunidades.
Su primer título lo consiguió en la Copa Perú 1999 coronándose campeón al mando de Deportivo UPAO que venció en la final 3 - 2 a Alfonso Ugarte.
En 2005 ganó la Copa Perú 2005 luego de vencer con José Gálvez 6 - 4 a Senati.
La Copa Perú 2008 vería la cuarta consagración de José Ramírez en el torneo, esta vez al frente de Sport Huancayo, equipo que terminó primero en el cuadragunlar final.
En 2014 sería Club Sport Loreto el equipo al cual él llevase a la gloria; imponiéndose en la final de la Copa Perú 2014 4 - 2 a Unión Fuerza Minera.