Torres y Paret lucharon por un empate a diez asaltos y en 1960 Torres volvió a hacer campaña en Nueva York, donde anotó tres victorias ese año, todas por decisión, incluidas dos sobre Randy Sandy.
Torres mantuvo su racha eliminatoria con vida hasta 1962 con tres victorias por octavos de final más, pero en 1963 sufrió su primera derrota y fue detenido en cinco por el cubano Florentino Fernández, el único boxeador que venció a Torres por un nocaut profesional.
Después de ese contratiempo, Torres volvió a entrenar y tuvo una pelea más ese año y esa vez pudo vencer a otro contendiente principal en Don Fullmer, el hermano de Gene Fullmer, con una victoria por decisión en diez asaltos en Nueva Jersey.
En 1964 Torres venció a un grupo de boxeadores conocidos, entre ellos José González, Walker Simmons (dos veces), Frankie Olivera, Gomeo Brennan y el ex campeón mundial de peso medio Carl Olson (Bobo), vencidos en una ronda.
Más tarde ese año, peleó en una pelea sin título ante Tom McNeeley (padre del ex rival Mike Tyson Peter McNeeley) en San Juan, ganando una decisión de diez asaltos.
Muchos fanáticos pensaron que debería haberlo ganado esa vez y como consecuencia, un gran motín siguió a la lucha.
Torres contribuyó regularmente con una columna para El Diario La Prensa, un periódico en español en la ciudad de Nueva York.