Asistió a la Universidad de Maryland y se graduó con un Phi Beta Kappa en tres años.
Su trabajo en Princeton se retrasó, cuando fue reclutado por el ejército durante la Guerra de Vietnam.
[4] Caswell y Peter Lepage realizaron un importante trabajo en 1978, concerniente al desarrollo de nuevas herramientas para hacer frente a estados ligados como el positronio y el quarkonio.
[4] En 1983, Caswell dejó el trabajo académico para unirse al Centro de Armas Navales, en White Oak (Maryland).
Le sobrevivieron sus padres, cuatro hermanas, su esposa y su hija.