Durante la Segunda Guerra Mundial fue evacuado con sus hermanos a Kings Langley, donde fue acogido por los actores Roger Livesey y Ursula Jeans .
Tras unas semanas, su madre, descontenta con la separación de sus cuatro hijos del núcleo familiar, insistió y consiguió que todos regresaran a Londres.
En una visita posterior a París, le ofrecieron un trabajo en Balenciaga, pero no pudo aceptarlo porque su esposa June estaba embarazada de su hijo mayor, Chris.
En 1955, empezó a colaborar artista de moda freelance para Harper's Bazaar y tuvo su primera experiencia con la fotografía comercial.
En primer lugar intentó trabajar con el fotógrafo John French pero no le contrataron.
Empezó trabajando en los estudios Carlton, después en Cosmolitan Artists y como asistente del fotógrafo Adrian Flowers.
En ese periodo tuvo ocasión de trabajar entre otras con las top-models Jean Shrimpton (a quien presentó a David Bailey ), Paulene Stone, Joy Weston, Tania Mallet, Marie-Lise Gres, Jennifer Hocking y Judy Dent.
Estos fotógrafos estuvieron en contacto con actores, estrellas del pop, la realeza o los gánsteres Kray Twins y se convirtieron ellos mismos en celebridades.
Brian Duffy declaró que algunos de sus mejores trabajos los publicó en esta revista.
Mantuvo una relación laboral con el artista David Bowie durante unos ocho años en los que filmó cinco sesiones clave en su carrera.
Esta exposición e imagen se ha mostrado en todo el mundo y es casi tan famosa como la portada original del álbum Aladdin Sane.
En 2014, la National Portrait Gallery acogió la exposición 'Stardust' de David Bailey y presentó a Duffy en dos categorías, 'artistas' e 'íconos'.
Watching You' al museo de Victoria y Alberto para su colección permanente.