En su obra más importante, Zakhor o Zajor ("acuérdate", en idioma hebreo), plantea la relación de los judíos con la historia y la memoria.
En 1953 obtuvo un diploma de la Yeshiva University[1] y, cuatro años más tarde, se ordena rabino en el Jewish Theological Seminary.
[2] En 1959 contrajo matrimonio con Ophra, una pianista llegada de Israel para estudiar con Claudio Arrau.
Durante 28 años dirigió el Institute for Israel and Jewish Studies de Columbia,[5] donde acogió numerosos estudiantes que se convirtieron en renombrados historiadores del judaísmo.
Yerushalmi se interesó especialmente por el estudio de los judíos sefardíes, los cristianos nuevos y los marranos.