En su Israel natal es más conocido por el diccionario árabe-hebreo que publicó en 1947.
Nació como David Neustadt en Haifa, y se crio en Zichron Ya'akov y Rosh Pinah.
Después de acabar la escuela secundaria en Haifa, Ayalon entró en 1933 en la Universidad hebrea recientemente fundada en Jerusalén.
A pesar de servir en el Ejército británico durante la Segunda Guerra Mundial, obtuvo su doctorado en 1946 bajo la tutela de Leo Aryeh Mayer.
De 1963 a 1967 dirigió el Instituto de Estudios Asiáticos y Africanos en la Universidad hebrea.