En un equipo con jugadores como Arvydas Sabonis o Rasheed Wallace, O'Neal debutó en la jornada 18 debido a una lesión en la rodilla contra los Denver Nuggets, en diciembre de 1996.
O'Neal se convirtió en el jugador más joven en debutar en la NBA (superado después por Andrew Bynum).
Para la siguiente temporada, el papel de O'Neal en el equipo fue a menos si cabe, ya que los titulares eran Sabonis, Wallace y Brian Grant, pero aun así, pese a los escasos minutos de los que disponía lograba demostrar su potencial.
Para sorpresa de todos, los Indiana Pacers decidieron traspasar a Dale Davis por O'Neal, ya que el equipo estaba en plena reconstrucción.
El equipo estaba liderado por Reggie Miller y el nuevo entrenador era la famosa ex-estrella de los Pistons, Isiah Thomas.
Los Pacers fueron eliminados por New Jersey Nets en playoffs, con O'Neal anotando 30 puntos y 11 rebotes en el primer partido.
Esa temporada, el equipo se vio sumido en problemas extradeportivos, Brad Miller y Ron Artest sufrieron lesiones que los lastraron a lo largo de la temporada, además, Brad Miller, Jamaal Tinsley y el propio O'Neal sufrieron pérdidas familiares.
Junto a su compañero Ron Artest, finalizó en el mejor quinteto defensivo de la NBA.
O'Neal fue suspendido por 25 partidos, aunque sus compañeros Ron Artest y Stephen Jackson fueron sancionados para toda la temporada.
Para 2008, sus prestaciones habían disminuido mucho y su contrato era muy alto, de modo que fue transferido a los Toronto Raptors por T.J.