[2]​ En el año 604, el emperador Yang Guang de la dinastía Sui dejó la capital, Chang'an (en Xian), para trasladarse a Luoyang.

La construcción comenzó durante la dinastía Sui (581-618) y llegó a cubrir poco más de 1700 kilómetros.

Su nombre original era Da Yunhe, y en su tiempo constituyó el canal de agua más largo del mundo hecho por el hombre.

Su misión era satisfacer las necesidades de las ciudades importantes con el agua de los ríos Yangste y Hual; permaneció en activo hasta el siglo XIX y después sufrió una serie de modificaciones, que en muchos casos culminaron en desastrosas inundaciones, y varias secciones se deterioraron hasta quedar separadas del cuerpo principal del canal.

Ordenó que fuese construido un canal con fines comerciales, así como un medio para enviar amplios suministros al norte, en caso de que sus fuerzas debieran participar en los estados del norte de Song y Lu.

[9]​ El Gran Canal fue completado en su totalidad bajo el segundo emperador Sui, desde los 604 al 609,[10]​ uniendo en primer lugar Luoyang hasta Yangzhou (y el valle del Yangtsé), luego expandiéndolo hasta Hangzhou (sur) y a Pekín (norte).

[11]​ Corriendo junta y paralela al canal estaba un camino imperial que soportaba los puestos postales apoyando un sistema de mensajería.

La parte norte, que une Pekín y Luoyang, fue llamada el canal Yongji.

Esta parte de la canal fue utilizada para transportar tropas a la región fronteriza, lo que hoy es Corea del Norte, durante las guerras Goguryeo-Sui (598-614).

[14]​ En el año 735, se registró que alrededor 149.685.400 kilogramos (165.000 toneladas cortas) de grano fueron enviados anualmente a lo largo del canal.

[21]​ La dinastía jurchen Jin luchó continuamente con los Song en la región entre el río Huai y el río Amarillo; esta guerra llevó a la dilapidación del canal hasta que los mongoles invadieron en el siglo XIII y comenzaron las reparaciones necesarias.

[16]​ Durante la dinastía mongola Yuan (1271-1368) la capital de China se trasladó a Pekín, lo que eliminó la necesidad de que el brazo del canal fluyese hacia el oeste hasta Kaifeng o Luoyang.

[22]​ Un tramo elevado se excavó en las estribaciones del macizo de Shandong durante el 1280, acortando la longitud total hasta 700 km (haciendo la longitud total de 1800 km) y conectando Hangzhou y Pekín por vía directa norte-sur, por primera vez.

[27]​ Los manchúes invadieron China en la mitad del siglo XVII, seguidos a través de los pasos septentrionales por el general chino Wu Sangui una vez que la capital Ming en Pekín hubiese caído en manos de un ejército rebelde.

Muchas de las secciones del canal quedaron en mal estado, y algunas partes fueron devueltos a los campos planos.

Incluso hoy en día, el Gran Canal no se ha recuperado de este desastre.

En 12 a. C., para resolver el problema que tenía el Gran Canal al tener que utilizar 160 kilómetros del peligroso curso del río Amarillo en el norte de Jiangsu, un hombre llamado Li Hualong abrió el canal de Jia.

Al norte del tramo cumbre del canal Jizhou, el canal de Huitong corrió colinas abajo, alimentado principalmente por el río Wen, para unirse al río Wei en la ciudad de Linqing.

El canal Shanyang desembocaba originalmente en el Yangtze a una corta distancia al sur de Yangzhou.

Cuando la orilla norte del Yangtse paulatinamente quedó colmatada, creándose la isla arenosa de Guazhou, se hizo necesario que los barcos cruzasen desde y hacia el canal Jiangnan para navegar a lo largo del borde oriental de la isla.