[1]​ Nació en Filadelfia, el hijo mayor de Rose Frankel y David Serber.

Su madre murió en 1922 y su padre se casó con su prima Frances Leof en 1928.

Cuando se organizó por primera vez el Laboratorio Nacional de Los Álamos, Oppenheimer decidió no compartimentar la información técnica entre diferentes departamentos.

Esto aumentó la eficacia de los trabajadores técnicos en la resolución de problemas y enfatizó la urgencia del proyecto en sus mentes, ahora que sabían en qué estaban trabajando juntos.

Fue así que le tocó a Serber dar una serie de conferencias explicando los principios básicos y los objetivos del proyecto.

Little Boy sería la última y se nombró así solo para contrastar con la bomba Thin Man.

Serber estuvo con el primer equipo estadounidense que ingresó a Hiroshima y Nagasaki para evaluar los resultados del bombardeo atómico de las dos ciudades.

Serber se desempeñó también como asesor de doctorado del futuro premio Nobel Leon Cooper.

Sperber inició posteriormente una relación con la viuda de Oppenheimer, Kitty.

Un año después, Serber recibió el premio en memoria de J. Robert Oppenheimer.

[12]​[13]​ Serber aparece en el documental nominado al Oscar The Day After Trinity (1980).