El ayuntamiento de Múnich le hizo su secretario jurídico en 1958.

Fue sucedido por Georg Kronawitter, desde 1972 hasta 1974, Ministro Federal de Ordenación Territorial, Obras Públicas y Desarrollo Urbano.

Hasta 1981 fue Ministro de Justicia y finalmente en 1981, alcalde de Berlín precedido por Dietrich Stobbe y sucedido por Richard von Weizsäcker.

A partir de 1972, Vogel estuvo casado con Liselotte, su segunda esposa.

También dijo: "En el fondo he seguido la corriente mayoritaria de aquellos años y no me pasó por la cabeza que se debe oponer resistencia al Estado".