En esta etapa estuvo acompañado por el entonces mecánico Joan Villadelprat y por su compañero de equipo Jordi Catón.

Sin la preparación ni experiencia internacional que requería el proyecto, no consiguió destacar entre tantos pilotos europeos de gran nivel y para 1980 se encontró sin ganas ni posibilidades para continuar adelante en su trayectoria ascendente en los fórmulas.

Durante estos años también participó en algunos rallyes con Jordi Pons como copiloto y en la Copa Fura de circuitos.

La alternativa americana, con carreras-espectáculo y suculentos premios en metálico para los pilotos, fueron la única salida que les quedó a los grandes nombres de la resistencia europea, Fermín entre ellos.

Una vez más Spice fue quien le dio la oportunidad en América, si bien en esta ocasión el camino fue aún más duro por cuanto Fermín se vio durante 4 temporadas acompañado constantemente por pilotos gentleman, con muchas ganas pero escaso talento, algo que se dejó notar ya que no pudo luchar por la victoria de una categoría en la cual había arrasado en el mundial por dos veces.

Tan sólo en 1992 Fermín gozó de cierta estabilidad al hacer todo el año con el británico Andy Evans a los mandos del Kuzdu del team Scandia, sin embargo esta pequeña mejora fue insignificante si tenemos en cuenta que 1993 se lo pasó prácticamente completo en casa ante la falta de patrocinio que tenía el team Scandia, lo que les obligaba a vender el asiento que de otra manera hubiera sido para Fermín, algo que en 1994 parecía continuar con apariciones esporádicas a los mandos de un Kuzdu o un Spice (siempre en Scandia).

Para entonces ya adolecía del malestar que le obligó a dejar de competir profesionalmente.

[3]​ Desde ese año, las 24 Horas de Barcelona - Trofeo Fermín Vélez llevan su nombre en su honor.