[4] Ahmad ibn Musa, también conocido como Ba Ahmed, fue hayib del sultán Hasán I y, tras su muerte, aseguró el acceso al trono de su hijo Abd al-Aziz en 1894, nombrándolo gran visir.
[5][4] Amplió progresivamente el palacio de su padre durante sus años como gran visir (1894-1900), a la vez que iba adquiriendo nuevas tierras.
Su hermano Si Sa'id construyó su propio palacio al norte, el Dar Si Said, que actualmente funciona como museo.
Apenas horas tras su fallecimiento, el sultán Abd al-Aziz ordenó registrar el palacio para hallar objetos valiosos.
En 1908, Madani el-Glaoui, hermano de Thami el-Glaoui, se adueñó del palacio y lo usó para entretener a sus invitados extranjeros, incluso añadió una planta superior a algunas zonas del palacio.