Era el hijo menor del conde Federico II de Zollern y se convirtió en conde de Zollern como tras la muerte de sus otros parientes varones.
A partir de 1171 Federico I se significó como partidario de los Hohenstaufen, encabezados por el emperador Federico I Barbarroja y sus hijos, Federico V de Suabia, el futuro emperador Enrique VI, y el rey alemán Felipe de Suabia, y participó en la acción de Barbarroja contra Enrique el León en 1180.
En la carrera de Federico, con posesiones mayormente situadas en Suabia, sería especialmente importante su matrimonio con Sofía de Raabs, alrededor de 1184, hija única hija de Conrado II de Raabs y heredera del burgraviato de Núremberg.
A través de su esposa, como única heredera de los condes de Raabs y de Abenberg, Federico fue capaz de añadir posesiones en Austria y Franconia, respectivamente, a su línea.
Con Sofia de Raabs tuvo los siguientes hijos: