Aunque dio su último concierto cuando tenía 40 años, continuó componiendo por más de medio siglo.
Poco después, Ornstein fue aceptado como pupilo en la Escuela Imperial de Música en Kiev, dirigida en ese tiempo por Vladimir Puchalsky.
En 1904, a los 10 años, Ornstein audicionó y fue aceptado en el conservatorio de San Petersburgo.
En 1911, tuvo un debut muy bien recibido en Nueva York con piezas de Johann Sebastian Bach, Beethoven, Frédéric Chopin y Robert Schumann.
Grabaciones realizadas dos años después con obras de Edvard Grieg, Chopin y Ede Polini demuestran que Ornstein tenía "una gran sensibilidad pianística, prodigiosa habilidad técnica y madurez artística.