Smit nació y creció en Volendam, y cosechó su primer número uno en la lista de ventas neerlandesa a la edad de diez años con la canción "Ik zing dit lied voor jou alleen".

En años posteriores consiguió nuevos éxitos en el género del schlager en Países Bajos, así como en Alemania, Austria, Bélgica y Suiza.

En 2005 protagonizó el programa de telerrealidad Gewoon Jan Smit, basado en su vida.

Desde 2012, presenta el programa de telerrealidad musical Beste Zangers para la emisora pública AVROTROS.

En su faceta como cantante, en 2015 Smit se convirtió en integrante del trío de schlager KLUBBB3, y desde 2017 es también integrante del grupo De Toppers.