En 1873 se incorporó a la "Fraternelle Lille," siendo, algún tiempo después, despedido por razones desconocidas y quedándose sin trabajo.
Junto con Gustave Jonquet funda el "Syndicat des filtiers" (Sindicato de hiladores).
Delory seguiría a Guesde, llegando a ser, en 1884 el líder del partido en la región norte, quien organizó y desarrolló este en todo el departamento.
En las elecciones municipales de 1896, coaligado con el partido radical, es elegido alcalde de Lille, sucediendo a Géry Legrand, y siendo por tanto, el tercer alcalde socialista en Francia.
En 1919 vuelve a ser elegido alcalde de Lille habiéndose presentado en la candidatura de la Sección francesa de la Internacional de los Trabajadores (SFIO), partido que a la postre sería el Partido Socialista Francés, permaneciendo en el cargo hasta 1925, elecciones en las que sale elegido, pero por cuestiones de salud, se ve obligado a ceder el puesto a Roger Salengro.