El club fue fundado en 1974, inicialmente con el nombre de Estonia Jõhvi.

En 1977 empezó a disputar la Liga de la RSS de Estonia, campeonato honorífico que ganó en 1984.

En 1987 se fusionó con su rival ciudadano, el RMT, jugando durante dos años como Estonia/RMT.

En 1989 recuperó el nombre de Estonia Jõhvi y en 1991 se convirtió en Eesti Polevkivi Jõhvi (EP Jõhvi) por un acuerdo de patrocinio con la compañía petrolera del mismo nombre.

En 1996 llegó a la final de Copa, que perdió por 2-0 ante el JK Sadam Tallinn.