Como entrenador, Hareide ha ganado títulos de liga en todos los países escandinavos, en Suecia con el Helsingborgs IF en 1999 y con el Malmö FF en 2014, en Dinamarca con el Brøndby en 2001–02 y en su Noruega natal con el Rosenborg en 2003.

Mientras estaba en Malmö durante su primera vez a cargo del club, llevó al equipo a la fase de grupos de la UEFA Champions League por primera vez en la historia del club.

Otros entrenadores que han ganado títulos de liga en tres países incluyen a los escandinavos Trond Sollied y Sven-Göran Eriksson, mientras que Ernst Happel, Giovanni Trapattoni, José Mourinho y Carlo Ancelotti han ganado campeonatos en cuatro países.

A mediados de la década de 1990, los millonarios noruegos Kjell Inge Røkke y Bjørn Rune Gjelsten se mostraban interesados en traer a Hareide de regreso al Manchester City como entrenador si su oferta para hacerse cargo del club tuvo éxito, pero la oferta pública de adquisición fracasó y Hareide nunca regresó al club.

Cuando la pareja intentó hacerse cargo de Leeds United casi al mismo tiempo, se informó una vez más que Hareide sería instalado como entrenador si la oferta pública de adquisición tenía éxito, pero esta oferta también fracasó y Hareide nunca fue puesto.

[5]​ Tras la dimisión de Egil Østenstad como director de fútbol en Viking,[6]​ el club anunció en septiembre de 2011 que Hareide sería su entrenador, y que Josep Clotet Ruiz sería contratado como entrenador a partir de la temporada 2012,[7]​ similar a la organización que tienen los clubes ingleses y el Molde FK, con Ole Gunnar Solskjær como entrenador y Mark Dempsey como entrenador.

[13]​[14]​ Por esta exitosa temporada, Hareide fue galardonado como el entrenador del año de la Allsvenskan.

[20]​ En agosto de 2020, se convirtió en el entrenador del Rosenborg BK por segunda vez.

[23]​ Sin poder revertir la tendencia, dada la séptima plaza a final de año, dejó su puesto una vez finalizado el torneo.