Su hermano mayor era el famoso pintor Raoul Dufy,[2] quien se convirtió en su mentor.
Asistió a la escuela primaria École Primaire Supérieure du Havre.
Al completar su educación básica a la edad de 16, Dufy tomó un trabajo como empleado itinerante con una compañía francesa de importaciones, y más tarde como secretario en el trasatlántico La Solve, que pasaba entre El Havre y Nueva York.
En 1906 Dufy visitó una exhibición montada por el "Círculo de Arte Moderno" en El Havre, allí conoció la obra de Picasso, Marquet, Derain, con quien entabló amistad años más tarde, y Matisse, cuyo lienzo Fenêtre ouverte à Collioure instó su decisión de perseguir una carrera como pintor.
Después de servir en la milicia por dos años, el joven artista se mudó a París con lo que hizo su entrada en la escena parisina del arte.
Allí, entre el jazz popular llevado a Francia por los soldados americanos al final de la Primera Guerra Mundial, el artista experimentó la fusión de color y música en su pintura.
[12] Durante el mismo periodo, Dufy concentró su temática en la elaboración de obras cuyos protagonistas son payasos, músicos y bailarinas, así como escenas cotidianas que incluían dibujos de carruaje tirados por caballos, las puertas de París, la Torre Eiffel y los puentes del Río Sena.