Ya desde muy niño mostró una especial inquietud por todo lo relacionado con la música hasta el punto de formar una pequeña orquesta con coro a los trece años con la que dirigió sus primeras obras.

Allí Steinberg destacó con claridad por encima del que había sido su predecesor, Clemens Krauss.

Allí Steinberg causó una grata impresión en Toscanini, quien le invitó a dirigir en EE.

Más tarde con la ayuda de Fritz Busch, Steinberg comenzó a ampliar sus compromisos en EE.

Su repertorio fue muy amplio, abarcando desde los compositores del primer romanticismo hasta los modernos, con especial atención a la música anglosajona.