Aunque algunas fuentes señalan que participó del movimiento anabaptista del los llamados "profetas de Zwickau", en 1521, solamente se sabe con certeza que en 1523 era capellán en los alrededores de Hersfeld, donde se unió con el pastor Heinrich Fuchs para promover el protestantismo.
Ambos se establecieron entonces en Turingia, donde Rinck, con el apoyo del reformador Jacob Strauß, fue nombrado pastor en Oberhausen, cerca de Eisenach y posteriormente en Eckardtshausen.
En 1527 se unió al movimiento anabaptista pacifista de Hans Denck, con quien estuvo en Landau exponiendo sus tesis teológicas.
Luego se establecieron en Worms, junto con Ludwig Haetzer y Jakob Kautz.
Sus escritos se han perdido, excepto tres: una epístola escrita conjuntamente con Antonio Jacobsz, que explica por qué el bautismo de infantes no es un verdadero bautismo; una manuscrito refutando la necesidad de bautizar a los niños y; una carta a Eberhard von der Tann, escrita desde la cárcel de Haina.