Inicia su carrera en 1973, acompañando a cantautores como Elisa Serna, Antonio Mata o Pablo Guerrero.
Crea la Big Band del Foro, en 1990, junto al baterista José Vázquez "Roper", grabando con esta formación dos discos más.
[1] Después, hasta mediados de los años 1990, desarrolla su trabajo con pequeños grupos, y acompañando a cantantes de jazz como Sonia Vallet, Paula Bas o la portuguesa Maria João, hasta formar, en 1995, el grupo de fusión étnica Black Market,[2] junto a músicos como Tom Hornsby, Nirankhar Khalsa y Evaldo Robson.
A partir de 1998, y sin dejar de funcionar con Black Market, Rubio lanza un nuevo grupo: Jazzhondo que desarrolla su trabajo en el ámbito del jazz flamenco.
En 1995, fue elegido "mejor guitarrista de jazz español" por la revista especializada "Sachtmo".