Carlos Fernando fue el cuarto hijo de Segismundo III Vasa y de su esposa, la archiduquesa austriaca Constanza de Habsburgo (hija del archiduque Carlos II de Estiria y de María Ana de Baviera y nieta del emperador Fernando I).

Era además hermano menor de Juan II Casimiro y de Juan Alberto y hermano mayor de Alejandro Carlos y de Ana Catalina Constanza.

En la década de 1640, el arquitecto real, Giovanni Battista Gisleni creó para Carlos Fernando el palacio situado en el bastión norte de las fortificaciones del Castillo Real de Varsovia.

Este fue más tarde saqueado y destruido por los suecos y los alemanes de Brandeburgo en la década de 1650, durante el Diluvio.

[2]​ Él también creó un gran palacio de madera en Wyszków.