En los terrenos del señorío familiar (familia de su esposa) de Audour, en 1903 Vilmorin inició la creación del Arboretum de Pézanin, un arboreto localizado en Dompierre-les-Ormes, Saône-et-Loire, Bourgogne, Francia.

[1]​ Fue recolector de plantas en Egipto y Sudán que actualmente forman parte del herbario del Jardín Botánico Nacional de Bélgica.

Estuvo casado con Mélanie Gaufridy de Dortan.

Tuvieron 6 hijos, incluyendo la famosa Marie-Pierre, Roger Marie Vincent Philippe Lévêque de Vilmorin (nacido en 1905, hijo natural de Mélanie de Vilmorin y Alfonso XIII[2]​·.

[3]​ Sin embargo, fue reconocido como propio por Philippe de Vilmorin.)