Nacido en McLeansboro (Illinois), jugó a baloncesto en la Universidad de Evansville, y después pasó a jugar para los Chicago Bulls durante la época formativa de los Bulls.

Fue conocido por su tenacidad en defensa, y condujo al recién fundado equipo hasta los playoffs en su primera temporada.

Gozó de una carrera respetable como jugador, siendo All-Star en dos ocasiones, formando parte del Mejor Quinteto Defensivo cuatro veces (1968-69, 1971-72, 1973-75) y dos veces del Segundo Mejor Quinteto Defensivo, liderando al equipo en varias ocasiones para alcanzar los playoffs y ayudando a ganar un título como campeón de la Conferencia Central.

Logró que su equipo fuese uno de los mejores de la liga durante dieciséis temporadas consecutivas metiendo a su equipo en playoffs, durante las que entrenó a jugadores tales como Karl Malone, John Stockton, Jeff Hornacek, Antoine Carr, Tom Chambers, Mark Eaton y Jeff Malone.

Alcanzó las finales de la NBA con los Jazz en dos ocasiones (1997 y 1998), perdiendo en ambas frente a su viejo equipo, los Chicago Bulls liderados por Michael Jordan.

Después del retiro de la columna vertebral del equipo, John Stockton y Karl Malone, Sloan comenzó creando un equipo con estrellas en florecimiento, entre las que se encontraban Carlos Boozer, Andréi Kirilenko y, más adelante, Deron Williams.

Los Jazz estaban empatados con Denver Nuggets por la octava y última plaza que promete el pase a los playoffs con tres partidos por disputar de la liga regular.

El tercer lugar lo ocupaba Avery Johnson de los Dallas Mavericks con 268 puntos.