Si bien el subgrupo Shami de judíos yemenitas adoptó un rito influenciado por los sefardíes, esto se debió principalmente a que se les y no reflejó un cambio demográfico o cultural general entre la gran mayoría de los judíos yemenitas.

Según la tradición, los judíos llegaron por primera vez a Yemen cuando fueron exiliados tras la destrucción del Primer Templo en Jerusalén.

Pruebas arqueológicas muestran que hubo una gran comunidad presente en Yemen hace más de 2300 años.

La comunidad Baladi conserva las costumbres religiosas yemenitas más únicas y antiguas, mientras que la comunidad Shami ha sido históricamente influenciada por místicos medievales de la tierra de Israel.

Para la fundación del Estado de Israel, casi la mitad de todos los judíos yemenitas ya se había mudado a Israel, mientras que la gran mayoría emigró durante los años subsiguientes.