También incursionó como solista con el álbum Ai no Wakusei en el 2004 y fue miembro de Schwein junto con Hisashi Imai (también integrante de BUCK-TICK), Sascha Konietzko (KMFDM) y Raymond Watts (PIG).
Yagami lo rechazó y deshizo la banda pero tiempo después Atsushi se dirigió a Tokio siguiendo el consejo de su madre, quien le dijo que hiciera lo que a él le gustaba.
Ha escrito varias canciones referentes a su madre, como "Júpiter", "long distance Call" y "Sakura".
También trabajó en los álbumes Shishunki II y Kaikoteki Mirai - Nostalgic Future de Der Zibet.
El álbum Ai no Wakusei (愛の惑星, Planeta de amor) que contó con canciones compuestas por Wayne Hussey (The Sisters of Mercy), J. G. Thirlwell (Foetus), Cube Juice, My Way My Love, Raymond Watts, Cloudchair (Jake of Guniw Tools), Masami Tsuchiya y una nueva versión de una canción de 1992, donde colaboró con Clan of Xymox.
Ese mismo año también hizo su debut como actor, con el papel protagonista del cortometraje de Ryuhei Kitamura, LONGINUS.