[1]​ Un año más tarde obtuvo la medalla de plata en los Campeonatos del Mundo Amateur al perder contra el búlgaro Alexander Hristov en los puntos.

Joel volvió a tener otra oportunidad por el campeonato del Consejo Mundial de Boxeo ante José Luis Castillo, perdiendo en los puntos por una decisión dividida en lo que, a priori, era una victoria clara para Casamayor.

Después de esta derrota, parecía que Casamayor estaba en una espiral descendente, empatando en su siguiente combate contra el invicto Almazbek Raiymkulov, en una eliminatoria por el campeonato CMB.

Tras victorias contra rivales de poco nivel, en octubre de 2006 pelearía por tercera vez contra Diego Corrales al que vence por una decisión dividida y alzándose con los títulos CMB y The Ring.

[4]​ Tras esta pelea, Casamayor dio positivio por marihuana, en un control realizado por la Comisión Atlética del Nevada.