El delantero andaluz se formó en las categorías inferiores del Sevilla FC, entidad con la que debutó en Primera el 2 de febrero de 1997 frente a la Real Sociedad.

En 1997, fichó por el Atlético de Madrid, militando tres temporadas en el conjunto colchonero.

En 1999 recalaría en el AC Milan por un traspaso millonario,[1]​ donde jugó otras tres campañas (la última de ella regresando al Atlético en calidad de cedido).

Tras cuatro temporadas en el conjunto de Castellón, en su haber figura la Copa Intertoto que lograron los amarillos en 2003 y 2004.

[4]​ Con este equipo, José Mari consigue marcar 19 goles a lo largo de la Liga 2010-11, lo que le supone cuajar su mejor temporada como futbolista profesional.