Durante su primer período grabaron material para cuatro álbumes, de los cuales dos salieron cuando el grupo ya se había disuelto.
La música de The Muffins es considerada como "una mezcla entre Soft Machine y Henry Cow".
Otras influencias incluyen The Mothers Of Invention, Hatfield and the North y música clásica del siglo XX.
Hasta la fecha no editaron ningún álbum completamente en vivo.
En 1989 exmiembros de The Muffins fundaron la discográfica Hand Systems, para grabaciones de la banda y proyectos relacionados, sólo en casete.