Estudió literatura y medicina, al tiempo que adquirió un gran interés por la política.
En 1912 fue elegido en el Partido Laborista como representante del ala revolucionaria de ese instituto.
Cuando la corriente revolucionaria ganó la mayoría en el partido en 1918, Grepp ocupó la presidencia del partido, cargo que desempeñó hasta su muerte en 1922.
Grepp intentó integrar al Partido Laborista en el Komintern, lo que provocó conflicto entre las diferentes corrientes laboristas.
Su hija Gerda Grepp fue periodista en el Arbeiderbladet y trabajó de reportera en la guerra civil española.