A lo largo de los cinco años siguientes, Herman tocará con Tom Gerum desde 1929 hasta 1933, con Harry Sosnick en 1933, con Gus Arnheim, con Joe Moss y, en 1934, con Isham Jones.

Su arreglista de entonces, el multitinstrumentista Gene Roland (1921 - 1982), volvió a ensayar esta sonoridad en la Costa Oeste, el verano siguiente, con Getz, Giuffre, Steward y Sims.

[4]​ Las dificultades económicas que se vivieron en 1949 le obligaron a disolver la orquesta y en su lugar mantener, solamente, un pequeño combo.

Ralph Burns escribió un book (es decir, un gran número de arreglos) para ellos basado en el peculiar sonido Four Brothers, en cierta forma más auténtico que el de la versión original, puesto que en el Second Herd siempre hubo un saxo alto adicional, y en la nueva versión sólo permanecieron tenores y barítono.

[5]​ Ya no estaban los originales, pero siempre contó Herman con magníficos tenoristas: Gene Ammons, Jimmy Giuffre, Richie Kamuca, Bill Perkins (1924 - 2003), etc.

Siendo principalmente músico de orquesta, pues la orquesta era su verdadera pasión, fue también un fino instrumentista, buen saxofonista alto discípulo de Johnny Hodges, si bien Herman se centró preferentemente en el clarinete, instrumento que no le gustaba especialmente y del que, como solista, se juzgaba mediocre aunque no fuese tal.