La fortaleza fue construida en el siglo XVI por orden del sultán saadí Mohámmed ash-Sheij en 1549.
Los saadíes construyeron fuertes alrededor de Fez para mantener a su población bajo control y defenderla de los enemigos externos, aunque su capital era Marrakech.
La casba fue la primera de las fortificaciones saadíes construidas en la ciudad, consistente en un sencillo recinto amurallado.
Años más tarde los saadíes construyeron las fortalezas de mayores dimensiones Borj Nord, Borj Sud y los baluartes del lado oriental de Fes Jdid.
La casba siguió utilizándose con fines militares hasta el siglo XX, cuando sirvió como cuartel de los tabores del sultán en 1911 y continuó utilizándose como cuartel durante el periodo del Protectorado francés (1912-1956).