Inicialmente, fue educado en Viena, y más tarde en Freiburg im Breisgau junto con su hermano mayor, Eitel Federico.
Más tarde, asistió al Consejo Áulico en Viena, donde su padre servía como presidente; allí, se ganó la confianza y amistad de Fernando II de Austria (hijo del emperador del Sacro Imperio, Fernando I) y estuvo en su servicio en el Tirol, pudiendo establecer buenas conexiones con el Sacro Imperio Romano Germánico.
Dos años más tarde, Carlos II asumió la tutela del conde Jakob de Geroldseck.
Los tres hermanos mayores recibirían la herencia conjuntamente, pero en 1576 decidieron contraer un pacto de herencia, donde recibieron cada uno una parte económicamente equivalente del condado, fundando las tres líneas de Hohenzollern-Hechingen, Hohenzollern-Haigerloch y Hohenzollern-Sigmaringen.
[1] Sin embargo, Hohenzollern-Sigmaringen tenía altos impuestos de herencia que pagar al Sacro Imperio Romano Germánico.