Fue fundado en 1863 y recibió su nombre actual en honor al violinista pontevedrés Manuel Quiroga Losada.

[3]​ En 1955, el Ayuntamiento de Pontevedra reabrió el conservatorio municipal de música (que había estado cerrado en la posguerra), que contaba entonces con cuatro profesores y estaba dirigido por Antonio Iglesias Vilarelle.

En 2004, el Conservatorio se trasladó de su ubicación en la calle Alfonso XIII a la Avenida Juan Carlos I (actual avenida Virxinia Pereira Renda), en el barrio de A Parda,[4]​ lo que supuso una mejora de su oferta educativa y un aumento del número de alumnos, profesores y especialidades, añadiendo Música antigua a las ya existentes.

El conservatorio incluye en su oferta educativa musical una sección bilingüe impartida en portugués.

[5]​ El edificio actual tiene aproximadamente 3200 m2 repartidos en cuatro plantas, más un aparcamiento para 26 coches y jardines.