El grupo publicó dos álbumes, From Now On (1987) y Almost Pure (1991),[1]​ antes de su separación en 1991.

Todos los miembros fundadores del grupo se habían conocido estudiando en el Copland College de Canberra.

The Crystal Set publicaron un primer sencillo, "A Drop in the Ocean", producido por ellos mismos en diciembre de 1984, el disco fue además diseñado y distribuido por los propios miembros de la banda.

En mayo de 1985 firmaron con el sello independiente Red Eye Records, y pronto editaron su segundo sencillo "Benefit of the Doubt".

El primer sencillo también fue reeditado por Red Eye Records en noviembre de ese mismo año.