Victoria fue la segunda hija del matrimonio formado por el cantante y compositor de ópera irlandés Michael William Balfe y la soprano húngara de ascendencia austríaca Lina Roser.

Su padre, que supervisaría toda su carrera, le dio las primeras lecciones de canto y luego estudió piano en el Conservatorio de París.

Prosiguió luego sus estudios musicales en Londres, donde tuvo maestros tan prestigiosos como sir William Sterndale Bennett y Manuel Vicente García; y a los dieciocho años se trasladó a completar su formación en Italia.

Al concluir la de 1857 en Londres, tras pasar por Dublín y Birmingham, marchó a Italia, donde actuó en 1858, obteniendo un brillante éxito en Turín.

Victoria había conocido al duque en 1860, cuando su todavía marido desempeñaba un destino diplomático en Madrid y contrajeron matrimonio en 1864.