Se inauguró en 1891 al mismo tiempo que el Museo de Historia Natural (Naturhistorisches Museum) por el emperador Francisco José I de Austria-Hungría.
Los dos museos tienen exteriores idénticos y están uno frente a otro flanqueando la Plaza de María Teresa.
Las tres plantas del museo contienen variadas colecciones: arqueología, escultura, artes aplicadas, armas, numismática y medallística.
Las galerías de pintura se hallan en la planta noble y el segundo piso, este último dedicado a maestros menores.
En conjunto, la colección es una de las más amplias e importantes del mundo.