Aunque fue un notable violinista de concierto durante su adolescencia, dio un giro a su vida para dedicarse a la actuación en la ciudad de Berlín Este en 1950.A pesar de éxitos en esta primera etapa como actor en Alemania Oriental fue puesto en la lista negra por el gobierno, emigrando a Alemania Occidental en 1980.Mueller-Stahl ensanchó su carrera con su trabajo en la película estadounidense La caja de música (Music Box, 1989), como el padre del personaje de Jessica Lange.En 2007 participa en la cinta Promesas del Este, volviendo a cosechar excelentes críticas por su papel de jefe mafioso.También cabe destacar su actuación en Ángeles y demonios como el cardenal Strauss.
El lugar de nacimiento de Armin Mueller-Stahl en Tilsit (actual Sovetsk) y que ha sido un edificio catalogado desde 2010
