Fue esta formación, junto con su amigo/colaborador y "Arma Secreta" Handsome Dick Manitoba, la que grabó el álbum de debut The Dictators Go Girl Crazy!

para Epic Records que fue producido por Sandy Pearlman y Murray Krugman, conocidos por su trabajo con Blue Öyster Cult.

Es durante esta época cuando a la banda se la empieza a conocer como The 'Taters (término coloquial para patatas), lo que acabó en un incidente en una gira junto a Uriah Heep y Foreigner, en la que los ayudantes de esta última banda colocaron una red llena de patatas en el techo del escenario, dejando caer las patatas durante la actuación de Dictators.

Fue con esta formación -Manitoba, Shernoff, Friedman, Kempner y Rich Teeter- la que grabó el álbum Bloodbrothers (con los mismos productores).

[4]​ Más tarde, en la gira, Kempner se unió a la banda y el nombre de Manitoba's Wild Kingdom fue sustituido por The Dictators.

En 1992 Kempner publicó su álbum en solitario Tenement Angels y se unió a The Brandos en 1993.