Poco después de su ordenación, rompió con la Iglesia de Inglaterra y se fue a Holanda, donde él y su pequeña congregación comenzaron a estudiar la Biblia intensivamente.

Smyth se integra definitivamente al Movimiento Separatista en Lincolnshire y por un breve tiempo será uno de sus grandes líderes.

La presión política sobre el movimiento fue de tal magnitud, que ya en el año 1607 Smyth se vio obligado a huir con Thomas Helwys y sus seguidores a Ámsterdam.

[3]​ En 1608 publicó The Differences of the Churches, en el que explicaba las características de una iglesia bíblica:[4]​[5]​ En 1609, tras un profundo estudio de las Escritura, Smyth con Thomas Helwys y los miembros de su congregación llegaron a la conclusión de que el bautismo debía ser administrado al creyente adulto que ha expresado por su propia voluntad su fe en Jesucristo, bautismo del creyente (en oposición del bautismo infantil).

Estaba tan oscuro que nos vimos obligados a tener luces de antorcha.

Al Dios Trino sea la alabanza...» Tras llegar a dicha interpretación, decidieron unirse para formar la primera iglesia bautista del mundo moderno.