Estudió en el gymnasium de Třebíč, donde se unió a la rama local del Partido Socialdemócrata Checo.

Según el historiador Jan Galandauer fue el político más competente entre los socialdemócratas checos.

Durante la Primera Guerra Mundial Šmeral se convirtió en jefe de la socialdemocracia.

Al avanzar la guerra y con el desvanecimiento de la fe en la monarquía, los otros líderes del partido comenzaron a descontentarse con sus tesis pro-austríacas, recibiendo en septiembre de 1917 críticas de Gustav Habrman, František Soukup, František Tomášek, Rudolf Bechyně que le obligaron a dimitir.

En mayo de 1921, fundó conjuntamente con Antonín Zápotocký, el Partido Comunista de Checoslovaquia (KSČ), del que formó parte del Comité ejecutivo (más tarde llamado Comité central, ÚV KSČ).