Se cree que ocupó el sitio de un templo filisteo antiguo y, luego, el lugar fue usado por los bizantinos para erigir una iglesia en el siglo V.

Descrita como "hermosa" por un geógrafo árabe en el siglo X, el minarete de la Gran Mezquita fue destruido por un terremoto en 1033.

Finalmente, la Gran Mezquita fue reconstruida por los otomanos unos 300 años después y fue descrita por los viajeros como la única estructura en Gaza "históricamente importante".

Severamente dañada por el bombardeo británico durante la Primera Guerra Mundial, la mezquita fue restaurada en 1925 por el Consejo Supremo Musulmán.

La Gran Mezquita era un punto central del orgullo palestino en Gaza y seguía en funcionamiento hasta la guerra de 2023, cuando un bombardeo israelí la destruyó casi por completo.

Más tarde, en el mismo lugar, se erigió un templo dedicado a Marnas, dios de la lluvia y los granos.

[12]​ La mezquita fue alternativamente llamada al-Omari en honor de Umar ibn al-Jattab, quien era califa cuando los musulmanes conquistaron Palestina.

[17]​ En 1187, los ayubis comandados por Saladino arrebataron el control de Gaza a los cruzados y destruyeron la catedral.

[22]​[23]​ La Gran Mezquita fue severamente dañada por las fuerzas aliadas que atacaban las posiciones otomanas en Gaza durante la Primera Guerra Mundial.

[25]​ En 1928, el Consejo Musulmán Supremo celebró una manifestación masiva en la que participaron tanto musulmanes como árabes cristianos en la Gran Mezquita, con el fin de conseguir apoyo para boicotear las elecciones y la participación en la Asamblea Legislativa del gobierno del Mandato Británico de Palestina.

[13]​Sin embargo, durante la guerra Israel-Gaza de 2023, un bombardeo israelí la destruyó casi por completo, quedando en pie tan solo su minarete.

[13]​[18]​ La mayor parte de la estructura general ha sido construida con arenisca marina local conocida como kurkar.

[32]​ El minarete se encuentra sobre lo que es el final del intercolumnio oriental de la iglesia cruzada y sus tres ábsides semicirculares fueron transformados en su base.