Joe recibió su formación como actor en la Central Junior Television Workshop, Nottingham.
La primera etapa de la producción de Dempsie incluye créditos en dramas médicos com Doctors, Peak Practice y Sweet Medicine, y también ciertos papeles en películas como One for the Road y Heartland.
También apareció en Born and Bred y un drama documental de la BBC acerca del agricultor de Nortflok, Tony Martin.
En el 2007 forma parte del elenco protagónico de la serie juvenil Skins, junto a Nicholas Hoult, interpretando a Chris Miles durante las temporadas 1 y 2.
En 2011 comenzó a trabajar en la serie de la HBO Game of Thrones interpretando a Gendry, hijo bastardo del rey Robert Baratheon, habiendo aparecido en las tres primeras y en las dos últimas.