Asistió a The McCallie School en Chattanooga, TN [1] y más tarde estudió en la Universidad de Duke (anteriormente Trinity University) durante dos años hasta que se transladó al MIT, donde se licenció en Administración de Empresas y administración de ingeniería en 1926.
En 1932, mientras trabajaba como editor de la revista de antiguos alumnos del MIT Technology Review, Killian desempeñó un papel decisivo en la fundación de Technology Press, el sello editorial que más tarde se convertiría en la editorial independiente del instituto, MIT Press.
Tras dejar el MIT, fue Asistente Especial de Ciencia y Tecnología del Presidente Eisenhower de 1957 a 1959, lo que le convirtió en el primer Asesor Científico Presidencial.
Esta atmósfera de trabajo asfixiante fue provocada por las calumnias infundadas del senador Joseph McCarthy y la retirada de Robert Oppenheimer del trabajo en proyectos militares sensibles.
[5] Es coautor del libro La educación de un presidente universitario (1985), que sirve también como autobiografía.