Fue fundado en el año 1949 en la ciudad de Jaffa por inmigrantes judíos de Bulgaria encabezados por su fundador Albert Kiyosso (1898-1963), propietario del Maccabi Bulgaria, con el nombre Zionist Association of Maccabi Jaffa.
Los miembros del club donaron dinero para construir su sede llamada The Tin Stadium, logrando el ascenso a la Ligat ha'Al por primera vez en la temporada 1954/55,[1] liga que durante la década de los años 50s el club estuvo en los puestos bajos de la tabla, aunque en la temporada 1956/57 llegó a la final de la Copa de Israel, la cual perdieron ante el Hapoel Petah Tikva.
En 1970 retornaron a la máxima categoría, pero durante esa década fueron un equipo mediocre, excepto en la temporada 1976/77,[3] en la que lograron el subcampeonato y en 1980/81 quedaron terceros.
[5] En la temporada 1991/92 ganaron su primer título importante, la Copa Toto de la Liga Leumit; y para la temporada 1994/95 lograron su retorno a la Ligat ha'Al y ganaron la Copa Toto por segunda vez, aunque descendieron en la temporada 1998/99 tras tener la peor temporada en su historia con sólo 10 puntos (2 triunfos, 4 empates y 24 derrotas),[6] donde perdieron dinero y quedaron inmersos en profundas deudas.
Jugaron 32 temporadas en la Ligat ha'Al, estando en el puesto 14 de la clasificación histórica de la Liga[8] y su único torneo internacional fue la Copa Intertoto 1977, donde terminaron últimos en su grupo.