Tras el éxito de su primer álbum Amo a París, trabajó con varios grandes del jazz como Miles Davis y John Coltrane en su siguiente álbum Legrand jazz.

Cuando comenzó a trabajar en música para filmes, obtuvo un gran éxito, ya que no solo componía canciones pegadizas sino que componía material orquestal de un fuerte sentido lírico.

Su más conocido trabajo es Los paraguas de Cherburgo de 1963, un clásico del cine musical europeo y la primera película completamente cantada y protagonizada por la joven Catherine Deneuve.

Mucha de su música estaba destinada a películas francesas (como las del director Jean-Luc Godard), aunque también se implicó en la producción de películas estadounidenses, como The Thomas Crown affair (con su conocido tema The Windmills of Your Mind, 'Los molinos de tu pensamiento'), Verano del 42 y Yentl.

[3]​ Ha recibido 27 nominaciones al Premio Grammy ganándolo en cinco oportunidades.