Noveski inició su carrera en el año 1997 en el FK Pelister de su natal Macedonia del Norte y al año siguiente partió al fútbol alemán para integrarse a las filas del Hansa Rostock, equipo actualmente descendido.
Tuvo poca participación en este conjunto, de hecho, sólo disputó un partido de liga en las tres temporadas que permaneció en el conjunto alemán, aunque alternó en varios partidos del equipo "B" en la temporada 2000-01.
En 2004 llegó libre al Mainz 05 de la Bundesliga y rápidamente se hizo un lugar en el equipo titular, jugando 27 encuentros y convirtiendo dos tantos en su primera temporada.
Ya consolidado en el centro de la defensa del Mainz y designado como capitán luego del ascenso, conformó la base del plantel que cumplió una exitosa campaña en la temporada 2010-11.
Sin embargo, a lo largo de su carrera en la primera división alemana, anotó seis tantos en propio puerta, lo cual lo convierte en el jugador con más autogoles en la historia de la Bundesliga.