Felix nació en el Castillo de Český Krumlov en Bohemia, fue el segundo hijo del Príncipe José de Schwarzenberg (1769-1833) y su esposa Paulina de Arenberg.

[1]​ Schwarzenberg después de un breve interludio militar entró en el servicio diplomático, donde se convirtió en un protegido del canciller del estado príncipe Klemens von Metternich y sirvió en varias embajadas austriacas en San Petersburgo, Londres, París, Turín y Nápoles.

Este episodio lo llevó a que lo apodaran el "Príncipe de Cadland" siendo aplicado a él en Londres.

Consideró que era necesaria la abdicación del emperador Fernando en su sobrino el archiduque Francisco José para el futuro de la monarquía austriaca.

Como canciller de Francisco José se marcó como objetivos el mantenimiento del absolutismo y del poder centralizado en Viena.