Nacido en Quiévy, departamento del Norte, estudió dibujo en la École des Beaux-Arts, de Lille, desde 1898 hasta 1901, cuando se estableció en París.
La influencia inicial del impresionismo y del postimpresionismo visible en los cuadros que envió al Salon des Indépendants en 1906 gradualmente dio paso a su implicación en el cubismo después de su traslado en 1909 a los talleres de Bateau-Lavoir, donde conoció a Pablo Picasso, Georges Braque y Juan Gris; también se vio animado con su amistad con Wilhelm Uhde.
Su obra se expuso en la misma sala que la de Jean Metzinger, Albert Gleizes y Fernand Léger en el Salon des Indépendants de 1910.
En 1912 y 1914 Herbin tiene sus primeras exposiciones individuales en la Galerie Clovis Sagot, donde llamó la atención de Léonce Rosenberg quien, en plena guerra le ofrece un contrato de exclusividad.
La incomprensión que acogió estos relieves y los diseños para mobiliario relacionado con ellos, incluso de aquellos críticos más favorables al cubismo, fue tal que hasta 1926 o 1927 siguió el consejo de Rosenberg de volver a un estilo representativo.