Su padre Kendall Morgan Madigan (1908-1938) era doctor y su madre Elsie Maud Loydstrom (1911-1983) era dentista.
[4] Madigan asistió a la Universidad de Waverley en Sídney donde tomó clases de boxeo con el campeón australiano Hughie Dwyer y se entrenó con los mejores boxeadores profesionales.
[5] En la década de 1950, fue preparado en los Estados Unidos por el afamado entrenador Cus D'Amato.
Su copilota de 23 años Helen Stokes-Smith murió cuando en una carretera congelada Madigan perdió el control al tratar de evadir un camión estacionado.
Madigan se casó con una psicoterapeuta alemana, llamada Sybille, en noviembre de 1960 y su hijo Kendall Morgan Madigan nació en agosto de 1961.