El 17 de septiembre de 1961 se celebraron elecciones federales en Alemania Occidental para elegir a los miembros del cuarto Bundestag . La CDU/CSU siguió siendo la facción más numerosa, ganando 242 de los 499 escaños. Sin embargo, la pérdida de su mayoría y la pérdida de todos sus escaños por parte del Partido Alemán llevaron a la CDU a tener que negociar una coalición con el socio menor de la coalición a largo plazo, el Partido Demócrata Libre , lo que llevó a una demanda de canciller a largo plazo, Konrad. Adenauer dejó el cargo en 1963, a mitad de su mandato.
El SPD anunció por primera vez un candidato a canciller que no era el presidente del partido: Willy Brandt , alcalde de Berlín Occidental . Después de la construcción del Muro de Berlín , ganó cada vez más simpatías, mientras que el canciller Konrad Adenauer fue criticado por no mostrar suficiente apoyo al pueblo de Berlín Occidental. Adenauer tuvo que salvar a la mayoría absoluta de la CDU y del CSU, pero, teniendo en cuenta su edad y su largo mandato como canciller, había grandes dudas sobre si debería liderar el país en un cuarto mandato.
La mayoría absoluta la perdió la unión conservadora debido a los triunfos del liberal FDP bajo Erich Mende . A partir de 1961, la Unión, el SPD y el FDP establecieron un "triopolio" electoral en el Bundestag que duraría hasta 1983 .
Konrad Adenauer siguió siendo canciller , creando una coalición entre CDU/CSU-FDP. En 1962 tuvo que anunciar un quinto gabinete: el FDP había abandonado temporalmente la coalición después de que el secretario de Defensa, Franz Josef Strauß (CSU), ordenara el arresto de cinco periodistas por publicar un memorando que detallaba supuestas debilidades en las fuerzas armadas alemanas ( conocido como el escándalo Spiegel ). En 1963 Adenauer finalmente se retiró; Ludwig Erhard asumió el cargo de jefe del gobierno de coalición.