[2] Renunció al cargo en 1854, cuando un joven oficial le reprendió por permitir que sus músicos aparecieran en un desfile con los botones pulidos de forma inadecuada.[3] En el mismo año, Henry Schallehn, que había formado recientemente una banda militar en The Crystal Palace en las afueras de Londres, contrató a Manns como clarinetista y subdirector de orquesta.Manns entonces se ganaba la vida enseñando el violín en las provincias británicas y tocaba en la orquesta de la ópera en Edimburgo.[2] Manns fue el primer director en presentar a Arthur Sullivan al público inglés, cuando dirigió La tempestad del joven compositor en abril de 1862.[2][7] Treinta años después de que Manns presentara La tempestad, Sullivan le escribió: «¡Cuánto le debo a usted, mi querido y viejo amigo, por la mano amiga que me dio para montar el primer peldaño en la escalera![2] Entre los compositores contemporáneos continentales, Brahms (en 1863), Raff (en 1870) y Dvořák (en 1879) también se dieron a conocer en Inglaterra a través de los conciertos de Manns en The Crystal Palace.[2] Manns ocupó el cargo de director musical hasta su jubilación en 1901, aunque aceptó algunos compromisos fuera.En The Crystal Palace también dirigió los trienales Festivales Händel, a partir de 1883.[9] Sin embargo, fue invitado a dirigir todos los festivales posteriores hasta el de 1900, éste incluido.La música orquestal se podía escuchar en otras partes de Londres y la popularidad del palacio había desaparecido.[9] Manns se casó tres veces: su primera esposa murió en 1850 o 1851; su segunda mujer, Sarah Ann Williams, con quien tuvo una hija, murió en 1893; su tercera esposa, (Katharine Emily) Wilhelmina Thellusson (nacida en 1865 o 1866), con quien se casó el 7 de enero de 1897, le sobrevivió.