Liberado, pasó inmediatamente a la clandestinidad y tuvo un papel destacado en la fundación del Partido Social-Revolucionario en el invierno de 1901-1902.

[5]​ El partido, centrado principalmente en Bielorrusia, dedicaba su actividad a la agitación entre los obreros judíos de la región.

[1]​ Tras ser liberado, pasó inmediatamente a la clandestinidad y se convirtió el revolucionario profesional.

[7]​ Tras su liberación, fundó junto con otros revolucionarios como Yekaterina Breshko-Breshkóvskaya,[1]​ Víctor Chernov, Aleksandr Kérenski o Yevno Azef el Partido Social-Revolucionario,[8]​ en 1901-1902.

[14]​ Yevno Azef se reunió con Gershuni en Kiev para tramar el asesinato del ministro del Interior, Viacheslav von Pleve, y se encargó de desbaratarlo denunciándolo a la policía, que detuvo a los terroristas que debían haberlo perpetrado.

[11]​ Pleve, obsesionado por atraparlo, distribuyó su fotografía por todo el país, lo que finalmente facilitó su arresto.

[16]​[14]​ Azef, que trabajaba para la policía secreta desde 1893, logró trabar amistad con Gershuni[17]​ y se unió a la Organización por orden de sus superiores.

[20]​ El mando de la Organización pasó a Azef, por recomendación del propio Gershuni.

[27]​ Regresó a Europa en febrero de 1907[22]​ y participó en la Segunda Conferencia Extraordinaria del Partido, donde se le recibió con una gran ovación.

[7]​ En ella siguió defendiendo la utilidad del terror como método para acabar con la autocracia rusa, aunque admitió la posible utilidad de la nueva Duma y abogó porque las actividades terroristas quedasen bajo el control del comité central.