Fue el líder del Partido Democrático Libre (FDP) desde 1995 hasta que fue sucedido por Guido Westerwelle en 2001.

[2]​ Gerhardt fue miembro del Parlamento Regional Hesiano desde 1978 hasta 1994.

Entre 1995 y 2001 fue presidente del Partido Democrático Libre.

Desde 2002 hasta 2012, Gerhardt fue vicepresidente de la Internacional Liberal.

Desde 2006, Gerhardt se desempeñó como presidente del consejo de la Fundación Friedrich Naumann para la Libertad.