Arnold Rosé se formó como violinista en la Gesellschaft der Musikfreunde de Viena entre 1874 y 1877 con Karl Heißler.
A partir de 1878 viajó por Alemania para convertirse en concertista, debutando en 1897 en Leipzig y posteriormente tocó en París.
Con su hermano mayor (Eduard Rosé) fundó el cuarteto Rosé-Quartett, que hizo numerosas giras y llegó a ser uno de los más conocidos de su tiempo.
Su repertorio no se limitaba a la música clásica, sino que también interpretaban obras contemporáneas de autores como Brahms, Korngold, Schmidt, Schönberg y Webern, entre otros.
Su nombre aparece en la lista reconocimiento de personalidades del cementerio de Grinzing en Viena (Grupo 20, fila 5, número 6), ciudad en la que también tiene una placa recordatoria en el edificio donde vivía, en la calle Pyrkergasse, 23.