Después de graduarse en 1935 en la New York University College of Arts and Science con honores Phi Beta Kappa, estudió con Roger Sessions, primero en privado, y luego en la Universidad de Princeton.

En 1958, Babbitt logrado adquirir notoriedad por un artículo publicado en la revista de música pop High Fidelity.

El título del artículo, «The Composer as Specialist» («El compositor como especialista»), se cambió, sin su conocimiento o consentimiento, por «Who Cares if You Listen?» («¿A quién le importa si usted escucha?»).

Babbitt continuó escribiendo tanto música electrónica como para instrumentos convencionales, a menudo combinando ambas.

En 1982, la junta del Premio Pulitzer otorgó una «mención especial a Milton Babbitt por su vida de trabajo como un distinguido y pionero compositor estadounidense».

Algunos de los alumnos más destacados de Babbitt han sido Lera Auerbach, Benjamin Boretz, Eric Ewazen, Michael Kassler, Paul Lansky, David Lewin, Donald Martino, John Rahn, J. K. Randall, Su Lian Tan, Stephen Sondheim, Peter Westergaard y Godfrey Winham.