Muy pronto se hizo conocido como un hábil investigador anticomunista, que no solía respetar las normas legales para conseguir sus objetivos.

Después de la toma del poder por los nazis, Heinrich Himmler y Reinhard Heydrich fueron consolidando las unidades de policía regional con miras a construir una policía secreta del Estado, que sería conocida como Geheime Staats Polizei y cuyas siglas "Gestapo" serían el terror de Alemania.

Müller ingresó en las SS en 1934 con el número 107.043 y comenzó una meteórica carrera como oficial de policía.

Esta decisión fue muy criticada, al considerar los líderes nazis de mayor antigüedad que Müller había participado pero en el bando contrario.

El propio Himmler no le profesaba simpatía debido a algún grave encuentro personal en el pasado, pero Heydrich creía que Müller era un funcionario nato, decidido a servir al poder establecido, cualquiera fuese su signo, y logró imponer su nombramiento.

Müller estuvo implicado en asuntos criminales como el relacionado con la emisora de Gleiwitz, en la Operación Tannenberg, en la frontera con Polonia, en el que simularon un enfrentamiento de soldados polacos contra Alemania y constituyeron la excusa para desatar la Segunda Guerra Mundial.

Desapareció y, aunque se declaró su muerte en mayo de 1945, el cuerpo no fue hallado en su tumba.

El profesor Johannes Tuchel, director del memorial de la resistencia alemana, cree saber dónde está enterrado.

Su secretaria, la joven Barbara Hellmuth, tampoco volvió a saber de él.