Agbaji nació en Milwaukee, Wisconsin, pero creció en Kansas City, Misuri.

[1]​ Creció jugando al fútbol, animado por su padre, jugando fútbol de club y baloncesto de la Amateur Athletic Union (AAU) desde una edad temprana.

Dejó de jugar fútbol en su segundo año en Oak Park High School en Kansas City, Missouri, para concentrarse en el baloncesto.

En su temporada sénior promedió 27,6 puntos y 8,6 rebotes por partido, y fue nombrado jugador del año del área metropolitana por el periódico The Kansas City Star.

[4]​ Al término de su carta temporada fue elegido Jugador del Año de la Big 12 Conference e incluido en el primer equipo consensuado All-American.