Nacido en el Castillo de Latour cerca de Virton en los Países Bajos Austríacos (actual Bélgica), ingresó en el Ejército austríaco en 1755 y se distinguió en la guerra de los Siete Años.
Su hermano, el Conde Ludwig Wilhelm Anton Baillet de Latour-Merlemont (1753-1836), fue también general en el servicio austríaco, hasta 1810, cuando renunció, y se unió a la Grande Armée de Napoleón.
Sus tropas ocuparon el Ducado de Luxemburgo y jugaron un papel significativo en recuperar las provincias rebeldes para finales de 1790, que le mereció obtener la Orden Militar de María Teresa.
A partir de 1792 Latour luchó como comandante austríaco en las guerras de la Primera y Segunda Coalición.
En 1805 el emperador Francisco I de Habsburgo lo nombró presidente del Hofkriegsrat, Latour sin embargo murió poco después en Viena.