Recibió una educación superficial y descuidada, con especial énfasis en el área militar.

Su padre le educó siguiendo sus propios cánones personales, sin embargo, no sentía mucho afecto por su hijo menor —de salud frágil, tímido y con una leve joroba—, y no creía que este tuviera las cualidades necesarias como comandante militar.

Víctor Amadeo se estableció en Moncalieri, pero Carlos Manuel logró que el consejo le arrestara para evitar un ataque a Milán y probablemente una invasión a Piamonte.

Carlos Manuel contrajo matrimonio tres veces y tuvo un total de diez hijos, pero todas sus esposas murieron jóvenes y sólo cinco de sus hijos alcanzaron la edad adulta.

Su prima hermana Carlota Aglaé de Orleans fue considerada como una posible novia para el joven príncipe, pero su madre rechazó la oferta.