Antes de militar en el Partido Socialista, había sido miembro del Partido Socialista Unificado, el cual abandonó en 1974 para adherirse al primero.[2]​.

Representa dentro del partido socialista de "deuxème gauche" que ganó el congreso de 1993 logrando el 80% votos para ser secretario general.

En mayo de 1988, se convirtió en primer ministro de Mitterrand, con quien mantuvo diferencias épicas por sus opiniones de izquierda, interpretadas en ese momento como una concesión al alma más socialdemócrata del partido o, como se llamaba en Francia, "el segundo se fue".

Dirigió su propio partido durante unos meses entre 1993 y 1994, cuando viajó a Bruselas como eurodiputado en el Parlamento Europeo, donde permaneció hasta 2009.

[3]​ Además de sus posiciones institucionales y orgánicas, Rocard dejó huella con sus tesis sobre la necesaria modernización de la izquierda, acercándola al liberalismo, que creó una escuela en el socialismo francés de la que, por ejemplo, salieron el expresidente François Hollande y el expresidente del gobierno, Manuel Valls.