Nació en Hannover siendo hijo del Conde Eduard von Kielmansegg (1804-1879), Ministro-Presidente del Reino de Hannover entre 1855 y 1862 y él mismo nieto del Teniente-General Johann Ludwig von Wallmoden-Gimborn, un hijo ilegítimo del rey Jorge II de Gran Bretaña.

Kielmansegg estudió Jurisprudencia en las universidades de Heidelberg y Viena y entró en el servicio civil austriaco en 1870.

A partir del 17 de octubre de 1889 fue stadtholder de la Baja Austria, donde llevó a cabo la unión de Viena con los suburbios (Gran Viena), la regulación vienesa del Danubio y la expansión del Donaukanal y el río Wien.

Retirado Kielmansegg murió en Viena de una neumonía, y fue enterrado en al Cementerio Döbling.

Nacido en el Norte de Alemania, con la excepción del Canciller Conde Friedrich Ferdinand von Beust, fue el único ministro Protestante de Austria hasta la fecha.