Comenzó su carrera musical a los quince años, y pasó un tiempo en Canadá con una banda británica.

[5]​ Con la Salem Band, Gilmore actuó en la toma de posesión del presidente James Buchanan en 1857.

Más tarde tocó bajo el mando del general Benjamin Butler para las tropas de Nueva Orleans, Luisiana.

Ese éxito le animó a emprender dos grandes festivales musicales en Boston, el Jubileo Nacional de la Paz en 1869 y el Jubileo Mundial de la Paz y Festival Musical Internacional en 1872.

Fue en su tierra natal, preparando una celebración musical en 1892 del cuatricentenario del viaje de descubrimiento de Cristóbal Colón, donde Gilmore se desplomó y murió en San Luis, Misuri.

En 1855 organizó el primer "Promenade Concert in America", precursor de los actuales Boston Pops.

La nueva banda incluía una sección de saxofones soprano-alto-tenor-baríto no con Edward A. Lefebre (1834-1911) como solista, que también actuaba como un cuarteto que se convirtió en el arquetipo del cuarteto de saxofones clásico estándar.