Nacido en Viena, Harmelin participó activamente en el movimiento juvenil Maccabi y en el club deportivo judío Hakoah Vienna.
Emigró a Eretz Israel en 1939 bajo el programa de Inmigración Juvenil.
Primero estuvo en la Aldea Juvenil Ben Shemen y luego fundó el kibutz Neve Yam.
Se unió al Shabak en 1949 y fue nombrado subdirector en 1960, ascendiendo a su primer mandato como director cuatro años después.
En 1974, dejó el Shabak para dedicarse a otras actividades, incluido su cargo de embajador.