Entre 1873 y 1876 trabajó en la embajada alemana en Viena.

Como miembro del Partido Conservador Libre, se postuló en 1885 y 1888 para la Cámara de Representantes Prusiana.

Entre 1896 y 1904 fue presidente del Partido de Nueva Coalición.

En 1913 se convirtió en ciudadano honorario de Breslavia.

Víctor contrajo matrimonio el 19 de junio de 1877 en Viena con la Condesa María Breunner-Enckevoirth (1856-1929), hija del Conde Augusto Breunner-Enkevoirth, y de su esposa, la Condesa Ágata Széchényi de Sárvár-Felsövidék.