Alexander nació en lo que ahora es el centro comercial de Sídney en Australia.

Su padre murió poco antes de su nacimiento y su madre se mudó a Victoria en 1863 o 1864.

Toda la familia se estableció en St.

Kilda, donde Alexander ingresó a una escuela privada.

En 1871, se matriculó en la Universidad de Wesley en Melbourne y, luego, en la Universidad de Melbourne.