En 1974, aún en el colegio, forma, junto con Michaelides y su hermano menor Steve, una banda que haría giras por Londres, para así también ganar dinero.

En 1976, Sylvian y los otros, ya con Barbieri incluido, firman contrato con Hansa Records.

Su imagen visual fue evolucionando y fue etiquetada como New Romantic .De hecho, se podría argumentar que Japan estaba a la vanguardia de todo el movimiento New Romantic, aunque la banda nunca se asocia con él.

En 1980, firmaron con Virgin Records, donde permaneció Sylvian como artista de grabación durante los siguientes veinte años.

En 1985, Sylvian lanzó un Miniálbum instrumental llamado Alchemy: An Index of Possibilities, en colaboración con Jansen, Hassell y Czukay, una grabación que, cuando fue relanzada en 2003, incluyó Steel Cathedrals.

El siguiente lanzamiento fue el ambicioso disco doble Gone to Earth (1986), que además burló la sabiduría convencional y comercial al presentar un registro de atmosféricas pistas vocales y un segundo disco de instrumentos ambientales.

Secrets of the Beehive (1987) tuvo un mayor uso de instrumentos acústicos y musicalmente fue orientado hacia las sombrías, emotivas baladas con relucientes arreglos de cuerda por Ryuichi Sakamoto y Brian Gascoigne.

En 1990, Sylvian colaborado con los artistas Russell Mills y Ian Walton en elaborar multimedia de instalación utilizando la escultura, luz y sonido titulado Ember Glance - The Permanence of Memory.

Ingrid Chavez, una artista que firmó con Paisley Park Records, le envió una copia de su primer álbum.

La colaboración final de Sylvian y Robert Fripp fue la instalación Redemption – Approaching Silence.

La música de acompañamiento fue compuesta por Sylvian, con texto escrito y recitado por Fripp.

Siguiendo Dead Bees, Sylvian se separa Virngin y lanza su propio sello independiente Samadhi Sound.