Callaghan se educó en Maidstone Grammar School for Girls, luego estudió cocina en Battersea College of Domestic Science.
Trabajó como dietista en una clínica prenatal en Greenwich durante la Segunda Guerra Mundial, siendo ella misma una joven madre.
Su marido, James, había sido elegido miembro del Parlamento de Cardiff en 1945 y ella estuvo a su lado durante toda su carrera.
Audrey se mantuvo muy privada y evitó ser el centro de atención.
Junto con su esposo, apoyó causas relacionadas con el University College of Swansea, del cual James Callaghan fue presidente.