Descendiente de la suaba Casa de Zähringen, era hijo del margrave Germán V de Baden y de la Condesa Palatina Irmengard del Rin, hija de Enrique V, Conde Palatino del Rin.

En 1248, se casó con Gertrudis de Austria, la sobrina del último miembro varón de la Casa de Babenberg, el duque Federico II de Austria (1230-1246), y sobre la base de este matrimonio reclamó los ducados de Austria y Estiria, dejando el gobierno de Baden a su hermano menor Rodolfo I.

No obstante, tuvo un rival poderoso, el rey Otakar II de Bohemia, quien en 1252 se casó con Margarita de Austria, la hermana de Federico, para legitimar sus pretensiones.

De acuerdo con el Privilegium Minus emitido por el emperador Federico I Barbarroja en 1156, las tierras austriacas podrían ser legadas por línea femenina, y Germán incluso obtuvo el consentimiento explícito del papa Inocencio IV.

[2]​ Sin embargo, el margrave y su hijo Federico no pudieron establecerse en Austria y Estiria a causa de la resistencia de la nobleza local, que prefería a Otakar.