Se convirtió en miembro y vicepresidente de "La Relève", un grupo de expertos y debate político dentro del PSC que desempeñó un papel importante en la formación del CVP.

Pierre Harmel fue elegido diputado social cristiano en la Cámara de Representantes en 1946.

En esta ocasión, adoptará nuevas leyes escolares, favorables a la educación confesional gratuita.

Abogó por una defensa fuerte, combinada con relaciones estables con los países orientales (la doctrina de Harmel que inspiró a la OTAN).

Fue nombrado ministro de Estado en 1973, y en ese año fue elegido presidente del Senado, cargo que ocupó durante cuatro años.