La exposición permanente de arte y la colección histórica sobre la historia de Viena comprenden exhibiciones que datan desde el Neolítico hasta mediados del siglo XX.
Originalmente conocido como el Museo Histórico de la ciudad de Viena (Historisches Museum der Stadt Wien), su existencia se remonta a 1887, y hasta 1959 se encuentra en el Ayuntamiento de Viena (Rathaus).
Los primeros planes para un museo de la ciudad en Karlsplatz se remontan a principios del siglo XX; uno de los planes propuestos fue dibujado por el renombrado arquitecto Otto Wagner.
Sin embargo, la construcción del museo se pospuso durante varias décadas debido a las dos guerras mundiales.
Se organizó un concurso de diseño en el que se invitó específicamente a 13 arquitectos (entre ellos Clemens Holzmeister, Erich Boltenstern y Karl Schwanzer), pero que estaba abierto a cualquier otro participante.