[1]​ Berenyi posee ascendencia japonesa y húngara,[2]​ y es hija de la actriz japonesa Yasuko Nagazumi, que tuvo una aparición en la película Solo se vive dos veces de la saga del agente secreto James Bond y en la serie de televisión Space: 1999.

[3]​ En 1987, Berenyi estudió literatura inglesa en la Universidad North London, donde conoció al baterista Chris Acland y a la cantante Meriel Barham.

Junto a Anderson, decidieron formar su propia banda, llamada en un principio Baby Machines.

[4]​[3]​ El bajista Steve Rippon se unió, y cambiaron su nombre a Lush.

Salieron de gira y grabaron un EP con nuevas canciones.