A diferencia del mandarín, que solo emplea cinco tonos, el cantonés usa seis.
Debido a la falta de registros históricos, los orígenes del cantonés tal sólo se pueden adivinar.
Algunas fuentes especulan con que el cantonés, junto con las variantes wu y xiang, tomó forma ya en la dinastía Qin (221-206 a. C.).
Hacia el final de la dinastía Qin, el área de Linnan (ahora Cantón y Fujian) fue colonizada por el pueblo han, que trajo el chino mandarín, que también se conoce en la literatura como el dialecto del norte, y se utilizó como idioma estándar durante la dinastía Qin.
Aunque no se indica claramente en los registros históricos, en general se acepta que durante la dinastía Tang (618-907 d. C.) el cantonés tenía todas las características lingüísticas que lo distinguen de cualquier otra variedad de dialectos chinos.