Chastel se inició en la historia del arte gracias a su trato con Henri Focillon.

Se enamoró de Italia, así que, entusiasmado por las investigaciones iconológicas alemanas —de Aby Warburg, Fritz Saxl y Erwin Panofsky—, analizó el Renacimiento, su terreno favorito, con una mirada muy amplia sobre su disciplina.

Con Chastel cabe afirmar que se renueva la idea de Historia cultural (Kulturgeschichte), inaugurada por Jacob Burckhardt, según la cual el arte se manifiesta como un hecho revelador de las civilizaciones.

Es uno de los historiadores del arte más importantes del siglo XX, y ha escrito tanto desde una amplia perspectiva filosófica (por ejemplo, en Marsile Ficin et l'art), como histórica (así, en su monografía El saco de Roma).

Primero profesor de secundaria (Le Havre), fue movilizado en 1939 como teniente, hecho prisionero e internado en el Oflag III C en Lübben-Spreewald.

Fue miembro de numerosas sociedades científicas y academias: Société des antiquaires de France (1959); Instituto Veneto delle Scienze, arti e lettere, Padua (1960); Accademia Toscana di Scienze e lettere la Colombaria, Florencia (1972); Accademia Ateneo Veneto (1974); Academia de Arcadia (1975); Academia Lyncean (1976); Accademia Olympica (1979).