Construido sobre el lugar en el que se encontraba el primitivo fuerte de los Alberti (del cual quedan dos torres, las dos privadas de almenas, que hasta 1767-1768 tenían cerca del doble de su actual altura), núcleo del Castrum Prati, y reducido al segundo círculo de los muros, fue realizado por Riccardo da Lentini por encargo del emperador Federico II a partir de 1240, para poder transformarlo en una residencia imperial.El castillo, orignariamente tangente al segundo círculo de los muros (siglo XII), estaba parcialmente circundado por un foso y unido a las cárceles albertinas de las cuales toma su nombre el cercano santuario mariano.Este presenta ocho torres y contiene, al igual que en Castel del Monte, varios aspectos simbólicos, tanto en la estructura como en el portal.En el curso del siglo XIV, bajo el dominio florentino, el castillo fue conectado al tercer círculo de los muros a través de un pasillo "Corridore del Cassero" (es decir, el pasillo del castillo) o más sencillamente Cassero.Con el paso de los siglos algunas casas fueron construidas dentro y en torno a la estructura.
