Tras la independencia de Argelia, Zéroual partió a formarse militarmente en El Cairo (Egipto), después en Moscú y fiinalmente en París (Francia).

Fue a continuación embajador en Rumania durante un corto período, antes de dejar dicho puesto y retornar a instalarse en Batna, retirándose de la vida pública.

Era partidario de un diálogo con todos los partidos políticos del país, para encontrar una «solución consensual a la crisis», y fue en ese entendido que se reunió varias veces con los principales dirigentes del 6 (FIS) que se encontraban encarcelados.

Habiendo constatado el fracaso del acercamiento con los representantes moderados del disuelto FIS, ellos mismos sobrepasados por la emergencia de importantes grupos terroristas, como el Grupo Islámico Armado (GIA), consideró que nada más podía esperarse de un eventual diálogo con los islamistas, por lo que rompió el diálogo con ellos y llevó a cabo una política de «erradicación de los grupos terroristas».

Pero las tensiones cada vez más presentes en la cumbre del Estado lo llevaron a retirarse.