Stieff nació en Deutsch Eylau (ahora Iława, Polonia) en la provincia de Prusia Occidental.Ya en 1927, el joven Stieff sirvió en apoyo del Estado Mayor General.Stieff se unió al Estado Mayor General de la Wehrmacht en 1938, sirviendo en el Organisationsabteilung (departamento de coordinación) a las órdenes del Mayor Adolf Heusinger.Hitler llamaba al joven Stieff "pequeño enano venenoso".Cuando estuvo en Varsovia en noviembre de 1939, escribió cartas a su esposa expresando su disgusto y desesperación por la conducta de Hitler en la guerra y por las atrocidades cometidas en la Polonia ocupada.
Placa conmemorativa dedicada a Stieff en el muro de un edificio en Berlín donde vivió una vez.