[1] Inició su vida musical en los días del punk con un grupo llamado Radio Blank.
Separado de este, forma Dalek I Love You, junto con Alan Gill, pero lo deja para pasar a Big In Japan, donde conoce a Bill Drummond.
Junto con Drummond, funda el sello Zoo, para grabar el EP From Y To Z and Never Again de Big In Japan, del cual se separa al poco tiempo.
Originalmente, Balfe era productor, mánager, publicista y jefe de sello discográfico de The Teardrop Explodes, pero cuando el tecladista de este grupo, Paul Simpson, se fue para formar The Wild Swans, se adicionó al proyecto.
Después de la grabación del álbum Kilimanjaro, Balfe fue reemplazado por Jeff Hammer.