Ullman recibió el grado de Bachelor of Science en Ingeniería matemática en la Universidad de Columbia en 1963, y el Ph.D.

Posteriormente trabajó muchos años en los Laboratorios Bell.

Desde 1979 ha sido profesor en la Universidad Stanford, donde actualmente es profesor emérito, específicamente, Stanford W. Ascherman Professor of Computer Science.

En 1995 comienza a formar parte como miembro de la Association for Computing Machinery y en 2000 fue galardonado con el Premio Knuth.

Él y su colaborador de mucho tiempo, Alfred Aho, recibieron el Premio Turing en 2020, generalmente reconocido como la más alta distinción en ciencias de la computación.