Su talento le permitió ser asistente en Connacht Rugby y en 1994 fue nombrado entrenador en jefe.

Durante su tiempo como entrenador asistente se le atribuyó el avance considerable del juego de los 3/4, mientras trabajaba con jugadores como Peter Stringer, Ronan O'Gara, Brian O'Driscoll y Denis Hickie.

Logró el segundo lugar en 2003, solo perdiendo el Grand Slam en el partido final contra Inglaterra.

Esto alimentó la discusión sobre los partidos que no comienzan al mismo tiempo en el último día del torneo.

O'Sullivan terminó con una tasa de éxito general del 64% e Irlanda alcanzó el tercer lugar en el World Rugby Ranking en dos ocasiones, en 2003 y 2006.

Irlanda tuvo malas actuaciones en los partidos inaugurales de la Copa del Mundo contra Georgia y Namibia.

Anteriormente también habían tenido problemas en los partidos previos al torneo contra Italia y Escocia.

Durante su mandato como entrenador en jefe de Irlanda, O'Sullivan ganó 3 Triple Coronas, en 2004, 2006 y 2007.

Irlanda derrotó a Inglaterra en el Campeonato de las Seis Naciones durante cuatro años consecutivos (2004-2007), incluida una victoria récord (43-13) en el icónico Croke Park Stadium en 2007.