Rathbone estaba sentado con su prometida, Clara Harris, al lado del presidente y su esposa, Mary Todd Lincoln, cuando John Wilkes Booth entró en el palco del presidente en el teatro Ford y fatalmente le disparó a Lincoln en la cabeza.
Los dos se comprometieron poco antes de la Guerra Civil Americana (los hermanastros, al no estar emparentados, pueden contraer matrimonio al contrario que los medio hermanos que sí lo están).
Durante la obra, el notable actor teatral John Wilkes Booth entró subrepticiamente en el palco presidencial y disparó fatalmente a Lincoln en la parte posterior de la cabeza con una pistola Derringer.
Rathbone recordó más tarde que estaba horrorizado por la ira en la cara de Booth.
Aunque Booth se había roto el peroné izquierdo dos pulgadas por encima del tobillo cuando cayó al escenario, logró escapar con éxito y permaneció huido durante doce días antes de ser abatido por las fuerzas de la Unión.
Después de su renuncia, luchó por encontrar y mantener un trabajo debido a su inestabilidad mental.
La familia se trasladó a Alemania donde la salud mental de Rathbone continuó declinando.
Rathbone se apuñaló después cinco veces en el pecho en un intento de suicidio.
Los hijos de la pareja fueron enviados a vivir con su tío materno, William Harris, en los Estados Unidos.
A medida que pasaba el tiempo, la administración del cementerio, mirando los registros relativos a parcelas sin actividad reciente o interés familiar, decidió en 1952 que los restos de Rathbone y Harris pudieran ser eliminados.