En 1935, tres años antes del Anschluss de Austria por parte de los nazis, la familia Kollek emigró a Palestina, región que por aquel entonces se encontraba bajo mandato británico.
Durante la Segunda Guerra Mundial, Kollek representó los intereses judíos en Europa como militante de la Haganá.
Durante esos años se convirtió en un fiel colaborador del líder sionista laborista David Ben Gurión.
En 1965 Kollek sucedió a Mordechai Ish-Salom como alcalde de Jerusalén.
Fue elegido como candidato del partido Rafi, promovido por el ex primer ministro David Ben Gurion.
Estuvo durante seis mandatos en el cargo - un total de 28 años -, siendo reelegido en 1969, 1973, 1978, 1983 y 1989.