En 1937 durante la Guerra Civil Española la directiva del Donostia FC (nombre que por aquel entonces tenía la Real Sociedad) hizo un llamamiento para reclutar jóvenes jugadores y retomar la actividad deportiva del club tras un año de parón forzado por la guerra.
A dicho llamamiento acudieron los dos hermanos Pérez que fueron de esa manera encuadrados en el club.
Tras diversas vicisitudes acabó destinado en Aragón donde terminó jugando para un equipo local, el Club Discóbolo de Zaragoza, con el que se proclamó Campeón de Aragón en la temporada 1939-40.
Finalizada esa temporada y licenciado del ejército, Pérez regresó a Guipúzcoa, donde sin embargo no encontró acomodo en la plantilla de la Real Sociedad y acabó fichando por el Real Unión para jugar en Segunda División junto con su hermano Félix.
En la Liga, en Primera, el equipo quedó en el quinto puesto, pero en la Copa del Generalísimo, tras eliminar a Celta, Racing y Real Madrid, ganando en Donostia y en Madrid, la Real se plantó en la final.
Eizagirre, Murillo, Suárez, Marculeta, Patri, Ontoria, Epi, Barinaga, Caeiro, Alsua y José Mari Pérez, no pudieron con los azulgranas que vencieron por 3 goles a 0.