En 1937 se casó con Molly Krige, una nieta de Jan Smuts; la pareja tuvo tres hijos.

En 1964, Bram, Molly y una amiga, Liz Franklin, viajaban a Ciudad del Cabo para celebrar el cumpleaños de su hija Ilse, que cumplía 21 años.

Bram quedó devastado y, para intentar mitigar el dolor, se centró más que nunca en su participación clandestina como uno de los líderes del Partido Comunista Sudafricano (SACP).

Por casualidad, Fischer no se encontraba en la granja de Liliesleaf Farm cuando la policía hizo una redada, deteniendo a Sisulu, Kathrada, Govan Mbeki, Billy Nair, Arthur Goldreich, Denis Goldberg y los otros acusados en el juicio, motivo por el cual pudo salir airoso de este evento.

Después de reunirse con él, Mandela supo lo que había pasado y escribió una carta a su abocado, aunque las autoridades penitenciarias nunca la entregaron.

No quiero abandonar mi país porque mis creencias políticas entran en conflicto con los del Gobierno.

Un día, cuando ya había comenzado su juicio, no asistió y, en su lugar, envió una carta, que fue leída por su abogado en este caso, Harold Hanson.

Pero seguiré estando dentro de mi país, como prometí que volvería cuando me concedió la libertad bajo fianza.

Deseo informar al Tribunal que mi ausencia, aunque deliberada, no intenta ser de ninguna manera irrespetuosa.

Tampoco está influenciada por el miedo al castigo que siempre se puede imponer.

A no ser que este sistema intolerable cambie radicalmente y rápidamente, el desastre ha de seguir.

Pero Bram Fischer no quería dejar que otros sufrieran mientras él seguía libre.

Cuando las noticias de su enfermedad transcendieron, la opinión pública sudafricana comenzó a presionar al Gobierno para conseguir la liberación.

Además, su letra había sido identificada en muchos de los documentos requisados a Liliesleaf Farm.

Aun así, sus amigos blancos no podían entender su reticencia y le convencieron para hacerlo, sin conocimiento de su pertinencia clandestina al Partido Comunista.

El director de cine sudafricano Sharon Farr hizo un documental, Love, Communism, Revolution & Rivonia – Bram Fischer’s Story, que ganó el Encounters Film Festival Audience Award como mejor documental sudafricano del año, en agosto de 2007.