Desarrolló toda su carrera deportiva en el F. C. Barcelona, equipo del que fue capitán.
Debutó en el primer equipo del F. C. Barcelona el 1 de noviembre de 1964, en el derbi barcelonés frente al RCD Espanyol, con tan buena fortuna que marcó el único gol del encuentro que le dio la victoria a los culés.
En la temporada 1969-1970, en el partido de vuelta de las semifinales de la Copa del Generalísimo que enfrentaba al FC Barcelona y al Real Madrid en el Camp Nou, Rifé hizo una falta al madridista Velázquez a más de un metro fuera del área, pero el árbitro Emilio Carlos Guruceta, pitó un penalti que, a la postre, dejó eliminado al FC Barcelona.
En 1978, ante la marcha de Lucien Müller, fue nombrado entrenador del primer equipo por el presidente José Luis Núñez.
A mediados de la siguiente temporada, la 1979-1980, fue destituido del cargo de entrenador ante los malos resultados del equipo, y su mala relación con algunos jugadores, como el austríaco Hansi Krankl.