Estudió en las universidades de Edimburgo y su ciudad natal.

Enseñó química en Glasgow y en el University College de la Universidad de Londres, donde tuvo un lío con la que sería su pareja para el resto de su vida y carrera profesional, Cristina Ramírez.

Desde 1855 hasta su muerte fue director de la Real Fábrica de Moneda.

Graham demostró que la velocidad de difusión de un gas es inversamente proporcional a la raíz cuadrada de su densidad, relación conocida en la actualidad como ley de Graham.

En el campo de la química de los coloides fue el primero en distinguir entre estos y los cristaloides.