Comenzó a tocar el violín a la edad de cinco años y con diez tocó su primer concierto con una orquesta.
Desde que finalizó sus estudios con Valery Gradov, Saschko Gawriloff y Herman Krebbers en 1983, Frank Peter Zimmemann ha tocado con numerosas orquestas y directores de prestigio internacional.
Desde el año 1998 toca regularmente junto con el pianista italiano Enrico Pace.
Su grabación del Doble Concierto de Brahms con Schiff fue premiada con el Deutscher Schallplattenpreis.
Frank Peter Zimmermann suele tocar un violín Stradivarius llamado Lady Inchiquin,[1] fabricado en 1711, que perteneció a Fritz Kreisler y está patrocinado por el Westdeutsche Landesbank.