Rainer Ulrich comenzó su carrera en el VfR Mannheim, con el que también jugó en la Regional liga Süd hasta 1971.
Tras una lesión que sufrió poco antes de finalizar la temporada 1981/82, dejó de ser utilizado y puso fin a su carrera en activo como deportista discapacitado.
Desde la temporada 2009/10, Ulrich estuvo bajo contrato con el FC Bayern Múnich, donde trabajó como entrenador asistente del segundo equipo y en ocasiones, ayudó como entrenador interino.
En el verano de 2018 sustituyó a Tim Walter, que trabajó como entrenador del segundo equipo en la temporada 2017/18, al club de segunda división Holstein Kiel.
Para la temporada 2019/20 siguió a Walter como entrenador asistente del VfB Stuttgart.