Tras un mes sin baterista, la banda ensayó y tocó un par de conciertos con Frank Tonche en la batería.

Su primer LP, The Punch Line, fue lanzado en 1981 y le siguió una gira extensa por todo el país.

A finales de 1983 lanzaron su tercer LP, Buzz or Howl Under the Influence of Heat.

Fue uno de los primeros álbumes hardcore que incluía una trompeta (en el tema "The Product").

En este álbum decidieron coescribir algunas canciones con otros músicos, entre los que destacan Henry Rollins, Chuck Dukowski y Joe Baiza.

Curiosamente, pese a ese sonido más comercial las ventas fueron muy pobres comparadas con Double Nickels..., debidas principalmente a la reacción negativa de la comunidad underground, que no aceptaba un álbum tan comercial para una banda como Minutemen.

[4]​ Tras sacar a la venta su último álbum, 3-Way Tie (For Last), decidieron tomarse un pequeño descanso.

Watt cayó en una profunda depresión, pero la banda Sonic Youth o Ed Crawford, entre otros, le convencieron para que continuara tocando y componiendo música.

Las canciones en directo que pensaban incluir en el álbum iban a ser elegidas mediante la votación de su público.

Minutemen eran grandes fanes de Captain Beefheart, y aquello también se trasladó a sus canciones.

Double Nickels on the Dime mostró claramente la influencia del funk sobre el estilo de la banda.