La mezquita recibe nombre de Omar ibn al-Jattab ( c. 581-644 ), el segundo califa musulmán Rashidun.

Después de haber conquistado Jerusalén, Omar había viajado a Belén en el año 637 después de Cristo para emitir una ley que garantizase el respeto a la ermita y la seguridad para los cristianos y miembros del clero.

Sólo cuatro años después de la muerte del profeta Mahoma, según algunas fuentes, Omar rezó en donde se ubica la mezquita.

La mezquita fue construida en 1860, pero no experimentó una renovación hasta 1955, durante el control jordano de la ciudad.

La tierra utilizada para su construcción fue donada por la Iglesia Ortodoxa Griega.