Abandonó en 1992 debido a problemas de corazón y empezó un tratamiento de medicina tradicional china para restaurar su salud.
Fue elegido presidente de Sega en febrero de 1998 e inició un ambicioso plan usando la Dreamcast para restaurar el prestigio y la parte de mercado perdido por Sega, el cual provocó una gran caída siguiendo el problemático lanzamiento de la Sega Saturn, Sega 32X y Sega CD.
Tras los terceros informes con pérdidas de Sega, Irimajiri cesó e Isao Okawa ocupó su lugar.
Durante este tiempo, se decía que General Motors estaba reclutando activamente a Irimajiri para un puesto de ejecutivo en la compañía, debido a su éxito en Honda.
Aunque renunció al puesto y aceptó otro como director sin voto, si Irimajiri hubiese aceptado la oferta hubiese llegado a ser el primer japonés ejecutivo de un fabricante americano de automóviles.