Sus obras son numerosas y entre ellas destacan las cariátides de los castillos de Chenonceaux y Boissière, así como el hermoso monumento a Garibaldi, en Niza —ciudad donde una calle lleva su nombre—,[4] que dejó sin terminar Antoine Etex.
En 1862 obtuvo el segundo lugar en el gran premio de Roma.
Diseñó asimismo estatuillas para la porcelana de Meissen.
La gran estatua (1891), que se alza en el parque que lleva el nombre del soldado en Alajuela, es obra del compatriota de Deloye, Aristide Croisy.
[5] Su obra más vista probablemente sea el San Marcos que se expone en el Museo d'Orsay, gran estatua en la que el evangelista está montado en un león alado.