A Rafael Pastor se le conoció por Makalita por su parecido juego al de Macala, que dejó gran recuerdo pocos años antes como jugador del Hércules.
El club herculano lo incorporó a su cantera en la temporada 1952/53 donde jugó en el equipo amateur.
Esa temporada ganó la Copa San Pedro con el equipo amateur del Hércules.
La temporada siguiente se marchó cedido al Novelda Club de Fútbol de Tercera división, y en la temporada 1954/55 el Hércules lo incorporó al primer equipo.
Jugó 4 temporadas en el equipo alicantino, las dos primeras en Primera división en las que era suplente, pero en las dos temporadas siguientes en Segunda división tuvo más protagonismo.