En 1936, cuando Fest alcanzó los diez años, sus padres decidieron no alistarlo a las juventudes hitlerianas, una acción que podría haberles acarreado serias consecuencias, a pesar de que el estar afiliado no se volvió obligatorio hasta 1939.

Durante este periodo realizó programas sobre personalidades históricas con gran influencia en Alemania, desde Bismarck hasta la Segunda Guerra Mundial, incluyendo personalidades del régimen nazi como Heinrich Himmler y Joseph Goebbels.

Estos trabajos fueron más tarde publicados en su primer libro La cara del tercer Reich: retratos de los líderes nazis.

Fue amigo personal del líder nazi Albert Speer, de quien escribió una biografía muy criticada, entre otros, por el investigador del Holocausto Götz Aly, por contener, a su juicio, «mentiras, medias verdades e incertezas».

Su última obra fue Ich nicht - Erinnerungen an eine Kindheit und Jugend, una autobiografía en la que se enfrenta, implícitamente, a Günter Grass tras confesar éste en Beim Häuten der Zwiebel vinculaciones al nazismo en su temprana juventud.