Nació en Késmárk, ubicada en la Alta Hungría (actualmente Kežmarok, Eslovaquia).
En 1799 es nombrado comandante de las fuerzas austriacas en Italia y Coronel del Regimiento de Infantería N.34, título que sostuvo hasta su muerte.
Fue desastrosamente derrotado en cinco batallas consecutivas por el ejército francés.
Durante el armisticio, el emperador Francisco II reemplazó a Kray por su hermano el archiduque Juan de Austria; Kray fue liberado del cargo el 28 de agosto de 1800 y se retiró en Pest, Hungría.
Por todas sus victorias, por su competitividad feroz en la batalla, los soldados franceses lo conocían como Le terrible Kray, le fils cher de la victoire y aun siendo considerados enemigos, hombres de ambos bando, asistieron a su funeral en 1804.