La ciudad se sitúa en la llamada "costa del arco iris" el cual es un título adecuado, ya que tiene un promedio alto de días nublados y con llovizna.

Albany es el asentamiento más antiguo en Australia Occidental, y fue fundada en 1826, tres años antes que Perth, la capital del estado.

Los primeros exploradores europeos que visitaron el área circundante de Albany vinieron en la embarcación holandesa Gulden Zeepaert, dirigida por François Thijssen en 1626.

El día de Navidad del mismo año, los británicos conducidos por Edmund Lockyer llegaron desde Port Jackson y fundaron un puesto militar.

Albany también fue el destino final en 1841 del explorador Edward John Eyre, después de ser la primera persona en llegar a Australia Occidental por tierra desde el este (Adelaida).

Esta facilidad supuso que durante muchos años el primer puerto al cual llegaba el correo desde Inglaterra fuera Albany.