Estuvo activo en el Anna Scher Children's Theatre drama club,[4] junto a su hermano Martin.
En 1999, Hadley, Norman y Keeble intento demandar a Kemp por supuestas regalías no pagadas.
Estas declaraciones fueron negadas por Kemp; Hadley, Norman y Keeble perdieron el subsecuente juicio.
[8] Aunque estuvieron apuestos a repeler la decisión del juez, decidieron no hacerlo.
[13] Kemp lanzó un álbum como solista titulado Little Bruises en 1995, seguido de una gira en Reino Unido e Irlanda.
Ha escrito canciones con otros compositores, aunque muy poca shan sido grabadas y lanzadas.
En marzo de 2008, Kemp protagonizó un cortometraje dirigido por su hermano Martin, titulado Karma Magnet.
[17] Durante la entrevista de noventa minutos, tocó varias canciones en acústico, incluyendo los éxitos "True" y "Gold".
En 2003, Kemp se casó con la diseñadora Lauren Barber, con la que tiene tres hijos: Milo Wolf (b.