Después de unas pruebas poco exitosas en Manchester United, decidió unirse al Aston Villa.

Stieber firmó por dos años con Aston Villa en mayo de 2005 y rápidamente se asentó como habitual en el equipo juvenil que dirigía Tony McAndrew.

Stieber jugó 13 veces con las reservas del Aston Villa en la temporada 2006/07, convirtiendo dos tantos: uno ante Fulham y otro ante Chelsea.

En julio de 2007, Stieber fue convocado por primera vez al primer equipo para la gira en Estados Unidos y Canadá.

Anotó su primer tanto como profesional poco antes de que su préstamo expire, en la victoria por 2–1 frente al Brighton & Hove Albion.

Participó en los encuentros ante Lincoln City, Walsall y Reading, jugando como lateral izquierdo, una posición en la que estaba poco acostumbrado.

Stieber entrenó con el Blackpool durante un corto período de tiempo e incluso le ofrecieron una prueba en el Norwich City.

[6]​ Tuvo poca participación en la temporada 2011/12 pues sólo jugó en nueve encuentros contando todas las competencias, sin poder anotar en ninguna ocasión.