Ocupó varios títulos y estuvo en el centro de todas las principales decisiones militares que Estados Unidos hizo en la Segunda Guerra Mundial.
Como jefe de operaciones navales 1937-1939, era el oficial mayor rango en la Armada, supervisando los preparativos para la guerra.
En su papel más controvertido, se desempeñó como embajador de Estados Unidos en Francia desde 1940 hasta 1942, pero tuvo poco éxito en mantener el gobierno de Vichy libre del control alemán.
Leahy fue llamado al servicio activo como Jefe de Estado Mayor para el presidente Franklin D. Roosevelt en 1942 y sirvió en esa posición durante toda la Segunda Guerra Mundial.
Continuó durante la presidencia de Harry S. Truman hasta que finalmente se retiró en 1949.