Jugó como defensa y desarrolló casi toda su trayectoria deportiva en el Atlético de Madrid.

Comenzó jugando en su tierra natal, en el Gimnástico Mercantil (1966-1969) y posteriormente en el Centre d'Esports Sabadell, a cuyo primer equipo se incorporó en 1972 para fichar dos años más tarde, en 1974, por el Atlético de Madrid, club con el que debutaría en Primera División y en el que jugaría diez temporadas.

Después, casi al final del partido, Rubio hizo el 2-1 definitivo merced a un penalti.

Fue asistente técnico de José Antonio Camacho en el Rayo Vallecano y el Sevilla.

En la temporada 1993-94 entrenó, ya en solitario, al Cádiz Club de Fútbol, en Segunda División.