Estudió Jurisprudencia y Filosofía en la ciudad de Viena.
En ese tiempo Kaufmann era miembro del Círculo de Viena.
Escribió los Fundamentos de la matemática, junto a Hermann Weyl y Oskar Becker, donde trató de aplicar la Fenomenología de Edmund Husserl para la Matemática Constructiva.
En 1938 la situación de los estudiantes judíos se volvió difícil, por lo que Kaufmann emigró a Estados Unidos, donde enseñó hasta el día de su muerte.
Fue profesor de leyes y trabajó en la Facultad de Nueva York.