Su padre era un grabador políticamente activo que producía documentos falsificados y almacenaba armas para la clandestinidad revolucionaria.
Después de la muerte de su esposa en 1900, Mijaíl se convirtió con su familia a la Iglesia Ortodoxa Rusa, se casó con Maria Aleksandrovna Kormiltseva y tuvo dos hijos más, Herman y Alexander.
El hermano mayor de Yakov, Zinovy, fue adoptado por Máximo Gorki, quien era un invitado frecuente en la casa.
Su capacidad organizativa fue bien considerada y, durante su presidencia, se iniciaron miles de comités locales del partido.
Tuvo un papel crucial y determinante en el destino final de la familia del zar Nicolás II e hizo todos los movimientos administrativos y ejecutivos que estuvieron a su alcance para que no se les diera escape o asilo político en otros países durante el régimen de Kérenski.
Él mismo dio instrucciones para destruir toda evidencia del asesinato y posterior desinformación.
Según los diarios de León Trotski, tras regresar del frente en la Guerra civil rusa tuvo la siguiente conversación con Sverdlov:[3] "Muerto", me dijo.
Ilich creía que no deberíamos dejar a los Blancos un trofeo vivo para pasearse, especialmente en las circunstancias actuales tan difíciles."
Una investigación llevada a cabo en 1990 por el historiador Edvard Radzinsky corroboró estos hechos y desveló el papel de Sverdlov en la ejecución del zar Nicolás II de Rusia y su familia en Ekaterimburgo.
Luego, al estallar la Guerra Civil Rusa recorrió el país de ciudad en ciudad y de aldea en aldea llamando al pueblo a combatir contra el Ejército Blanco y defender la revolución socialista.