Estudió secundaria en Hobro y se licenció en derecho en la Universidad de Århus.
Trabajó como abogado desde 1994 hasta su ingreso en el Parlamento, en el año 2005.
Su abuelo, Knud Axel Nielsen, también abogado, fue miembro del Parlamento Danés representando al Partido Socialdemócrata desde 1953 hasta 1973.
Jakob Axel Nielsen, antes de ser nombrado ministro, era el portavoz del Partido Conservador en la política de impuestos, reclamando repetidas veces la bajada de impuestos en Dinamarca, siendo estos unos de los más elevados del mundo.
El 12 de septiembre de 2007 entró a formar parte del gobierno de Rasmussen, relevando a Flemming Hansen como Ministro de Tráfico y Energía, aunque con a penas dos meses en el cargo se convocaron elecciones anticipadas.