En 1976, Kuepper se convirtió con The Saints en uno de los primeros músicos australianos con su propio sello, Fatal Records, con el cual, tras un largo camino intentando ser publicados (desde 1974), pudieron realizar su primer sencillo (I'm) Stranded.
Sea o no, sus dos primeros álbumes con The Saints, así como el álbum Radios Appear de Radio Birdman están considerados unas joyas fundamentales del punk, desconocidas para el gran público debido a la poca repercusión mediática que ha tenido históricamente el rock australiano.
Sus álbumes Mr Uddich-Schmuddich Goes to Town y, sobre todo, Ghosts of an Ideal Wife dan buena cuenta de ello.
En los últimos años Kuepper está trabajando en las bandas sonoras de diversos radio dramas y films experimentales.
Este año Kuepper relanzó su sello discográfico Prince Melon, con el que lanzó algunas de sus referencias en los 80.