Su nombre completo era Oskar Michael Sima, y nació en Hohenau an der March, Austria Hungría.

Sima cursó estudios en Viena y, tras un breve período en el ejército durante la Primera Guerra Mundial, empezó a actuar en diferentes producciones teatrales en Berlín, Viena, y otras ciudades de la Europa Central.

Inició su carrera cinematográfica en 1921, actuando en varios filmes mudos alemanes.

En 1929 se casó con la actriz Lina Woiwode, permaneciendo la pareja unida hasta la muerte del actor.

Tras la Segunda Guerra Mundial, Sima fue con frecuencia actor de carácter, llegando un biógrafo a escribir "... es difícil encontrar una película en la que Oskar Sima no actúe.