Steinberg nació en Dvinsk (hoy Daugavpils), en Letonia, entonces parte del Imperio Ruso, en una familia de comerciantes judíos.
Se unió al Partido Social-Revolucionario (también conocido como SR o eseristas) y tuvo que exiliarse por su activismo.
Entonces se trasladó a Alemania y completó su educación en la Universidad de Heidelberg.
Tras la toma del poder por parte de los nazis en 1933, Steinberg, su esposa y sus tres hijos, se instalaron en Londres.
Los social-revolucionarios de izquierda proponían una federación radicalmente descentralizada de sindicatos, sóviets y cooperativas obreras, cuyos delegados fuesen elegidos por democracia directa y pudieran ser revocables en cualquier momento.
A diferencia de muchos anarquistas, Steinberg creía que es posible y necesario formar un partido político cuya tarea fuese la destrucción del Estado desde dentro.
Steinberg veía el anarquismo como principio subyacente, espíritu y guía del socialismo revolucionario, más que como un programa político concreto con un objetivo final.