Hijo de Eduard Kaunitz von Holmberg y Henrietta von Elzen,[1]​ Holmberg había cursado sus estudios militares en Prusia entre 1794 y 1795.

Hacia 1812 se trasladó al Río de la Plata en la fragata inglesa George Canning, junto a San Martín, Zapiola y Alvear, atraído por la posibilidad de sumarse a la lucha por la independencia.

Trabó excelente relación con el patriota y se hizo cargo de la maestranza del ejército, fabricando los primeros cañones y obuses en bronce en cuatro hornillos de barro.

Pero el 23 de agosto de 1812 los hornos debieron ser destruidos para evitar que fueran capturados por el enemigo al comenzar el Éxodo Jujeño.

Falleció en Buenos Aires en 1853, poco después del nacimiento de su primer nieto, Eduardo Ladislao, quien sería posteriormente uno de los más grandes naturalistas argentinos.