Se casó en 1897 con Helene Schröder, que le dio una hija en 1898 (Elsbeth, que vivió hasta 1984), falleciendo dos años después.
Volvió a casarse en 1901 con la pintora Paula Modersohn-Becker.
Después de una ruptura momentánea, la pareja se reinstaló en Worpswede en 1907, donde ese mismo año Paula murió de sobreparto, tras dar a luz a Matilde.
Modersohn se trasladó luego a la ciudad vecina de Fischerhude, donde se casó por tercera vez en 1909, esta vez con Louise Breling, con la cual tuvo dos hijos, el primero Ulrich, nacido en 1913, y Christian, en 1916.
Autor de sencillos bodegones y paisajes, tanto su persona como su obra se vería eclipsada por la figura de su segunda esposa Paula M.-Becker.