En el cantón de la bandera, delimitado por la Cruz de San Jorge, figuran los elementos del blasón de Herm: un fondo azul con una banda descendente de color amarillo o dorado y cargada con tres figuras de monje de color sable o negro.
En cada división azul figura un delfín heráldico de color blanco.
Los tres monjes hacen referencia a la colonización de la isla por monjes benedictinos llegados desde Mont-Saint-Michel en el siglo XI y, posteriormente, por agustinos.
El color azul simboliza el Canal de la Mancha y el amarillo o dorado la tierra de la isla.
El escudo de Herm fue creado en 1953, lo diseño el clérigo Major P. Wood.