Las primeras referencias al cargo como tal se remontan a las últimas décadas del siglo XIV, en el reinado de Juan I de Castilla.
Tras la derrota en la batalla de Aljubarrota en 1385, el monarca inició una reforma en el reino de Castilla procurando la centralización del poder en la figura del rey, que se hará efectiva a partir de las Cortes de Segovia de 1386, y ese mismo año define las competencias y obligaciones del cargo de rabino mayor: una autoridad mediadora entre el rey y la población judía, regida por leyes propias.
El cargo en Castilla desapareció tras la expulsión o conversión de la población judía mediante el edicto de Granada en 1492, siendo el último en ocupar el cargo el rabino segoviano Abraham Senior.
En Turquía surgió en la segunda mitad del siglo XV el cargo de Jajam Bashi, que es el equivalente turco al de rabino mayor.
Actualmente Israel tiene un Gran Rabinato con dos rabinos jefes, uno asquenazí y otro sefardí, que se turnan en la presidencia del Consejo del Gran Rabinato y que es reconocido por ley por el Estado.