Mariusz Jop empezó su carrera futbolística en el KSZO Ostrowiec Świętokrzyski.
En 1999 ficha por el Wisła Cracovia, donde permanece cinco temporadas, a excepción de la temporada 00-01 que se marcha cedido al Widzew Łódź.
Con el Wisła Cracovia se proclama dos veces campeón de Liga y Copa.
En 2004 cambia de país, recalando en el equipo ruso FC Moscú.
En ese partido, en el que Mariusz Jop jugó, el equipo perdió por un gol a cero contra el FC Lokomotiv Moscú.