Gramm había estado anteriormente en una banda llamada Poor Heart a principios de los años 70.
Sin embargo, por el poco progreso que hubo allí formó Black Sheep con el bajista Bruce Turgon (que también se uniría a Foreigner) y su hermano menor Richard, que tocaba la guitarra.
La banda logró un contrato discográfico con Capitol Records y editó dos álbumes, un debut homónimo (1975) y Encouraging Words (1976).
Cuando una noche les tocó abrir un show de Kiss, un accidente de tráfico destruyó todo el equipo de la banda, y no había dinero para nuevo equipo.
Poco después, Gramm recibió una llamada telefónica de Mick Jones, quién había sido guitarrista de Spooky Tooth.