En la Antigüedad, era la sede de un importante santuario y además el lugar donde se celebraban los Juegos Olímpicos.
Los primeros restos arqueológicos en Olimpia son fragmentos de cerámica que pertenecen al cuarto milenio a. C., a finales del neolítico.
Las abundantes ofrendas y obras valiosas acumuladas en el templo llevaron a que fuera saqueado varias veces en la Antigüedad.
Tras la muerte de Adriano la ciudad entró en decadencia y los últimos juegos se celebraron en 393.
Poco después surgió una pequeña aldea mientras que el taller de Fidias se convirtió en una basílica paleocristiana.