Asistió a Abraham Lincoln High School en Brooklyn, y más tarde se uniría Arthur Kornberg (galardonado con el Nobel de Medicina en 1959) y Paul Berg (un ganador en Química en 1980),como egresados de la escuela para ganadores del premios Nobel.

En su juventud, Karle practicó baloncesto, patinaje sobre hielo, fútbol americano y natación en el cercano océano Atlántico.

[3]​ Tras cursar estudios secundarios en la Abraham Lincoln High School de Nueva York, pasó a estudiar química y física en la Universidad de Nueva York, en la que se graduó en 1937.

Posteriormente amplió estudios en la Universidad Harvard, en la que llevó a cabo un máster en 1938, y por último en la Universidad de Detroit Misericordia en Míchigan, en la que se doctoró en 1944.

[4]​ Se involucró inicialmente en el Proyecto Manhattan para la fabricación de la bomba atómica, junto a su esposa, Isabella Karle, una de las pocas mujeres involucradas en el proyecto.