Ostrowski asistió al Colegio de Comercio de Kiev, pero no a una escuela secundaria, por lo que no tenía una calificación suficiente para ser admitido en la universidad.
Sin embargo, su talento no pasó desapercibido a su mentor, Dmitri Grave, quien escribió solicitando ayuda a Landau y a Hensel para que posibilitaran el inicio de la carrera matemática del joven Ostrowski.
Durante la Primera Guerra Mundial fue recluido, pero gracias a la intervención de Hensel, las restricciones a sus movimientos se relajaron un poco y se le permitió usar la biblioteca de la universidad.
Después de que terminó la guerra, se mudó a Gotinga, donde escribió su tesis doctoral, siendo influido por Hilbert, Klein y Landau.
En 1923 regresó a Gotinga, y en 1928 se convirtió en profesor de matemáticas en Basilea, hasta su jubilación en 1958.