A pesar de padecer epilepsia, Carlos consiguió labrarse el respeto como comandante y como reformador del ejército austriaco.
En 1791, la adopción de sus tíos se hizo efectiva, sus padres biológicos fallecieron prematuramente en 1792.
Pasó su juventud en la Toscana, Viena y los Países Bajos austriacos, donde comenzó su carrera militar en las Guerras Revolucionarias Francesas.
Retrocediendo al principio, y evitando tomar la iniciativa, finalmente se alejó, dejando unas simples fuerzas como pantalla frente a Moreau.
Entonces se volvió contra el ejército de Moreau, al que derrotó y forzó a abandonar Alemania.
En 1797 fue enviado a detener la marcha victoriosa del general Bonaparte en Italia, y condujo la retirada de los agotados austriacos con los mejores resultados.
El archiduque Carlos se distinguió en la lucha contra Napoleón en 1796, y posteriormente batió en combate a oponentes menores como Jourdan y Masséna en la primera batalla de Zúrich (junio de 1799).
Con la paz llegó su oportunidad de iniciar la reorganización del ejército, que fue probada por primera vez en 1809.
En 1806, Francisco II (ahora Francisco I de Austria) nombró al archiduque Carlos comandante en jefe del ejército austriaco, así como jefe del Consejo de Guerra.
La teoría y la práctica del Archiduque Carlos crearon uno de los más curiosos contrastes en la historia militar, uno irreal, y otro donde este desplegó una vívida actividad, junto con las mayores capacidades, que le hicieron por mucho el oponente más formidable de Napoleón.
En el campo de batalla, se puede decir claramente que Carlos era comparable en capacidad y estilo a Sir Arthur Wellesley, ambos conservadores aunque a pesar de ello muy competentes.
Por contraste, Carlos en enfrentó a Napoleón en batalla más veces que cualquier otro comandante.
No obstante, Carlos es miembro del panteón de personajes napoleónicos famosos que incluye a figuras como el mismo Emperador, Davout, el Príncipe Carlos Felipe de Schwarzenberg, Aleksandr Suvórov, Gebhard Leberecht von Blücher y el anteriormente mencionado Sir Arthur Wellesley.