Tip queda maravillado por su música, y le ofrece entrar a formar parte de The Ummah, el equipo de producción de A Tribe Called Quest, donde elaborará durante los siguientes años producciones para distintos artistas junto con el mismo Q-Tip y Ali Shaheed Muhammad.
Por la misma época funda junto a dos amigos de la infancia, Baatin y T3, Slum Village, grupo que publica su debut oficial Fantastic, Vol.
En 2001 cambia su nombre artístico de Jay Dee a J Dilla y llega Welcome to Detroit bajo el sello BBE, un disco producido íntegramente por él, y que mostró al mundo a algunos de los máximos talentos del underground de su ciudad.
Dos años después se traslada desde su ciudad natal a Los Ángeles para unirse al sello Stones Throw, y crea el dueto Jaylib con Madlib.
El grupo publica en 2003 Champion Sound, doble álbum recibido con críticas entusiastas.