Nacido en París, Francia, fue alumno de la École nationale supérieure des arts et techniques du théâtre, y después del Conservatorio nacional superior de arte dramáticon (clase Denis d'Inès), centro en el cual obtuvo el primer premio de comedia clásica en 1950.
Todo ello le abrió inmediatamente las puertas de la Comédie-Française, siendo miembro de la misma en 1960, y miembro honorario en 1982.
Estuvo casado con la actriz, también miembro honorario, Catherine Ferran.
Jean-Paul Roussillon falleció en Auxerre, Francia, en 2009, a causa de un cáncer de pulmón.
Roussillon recibió tres Premios Molières: 1991, 1996 y 2002, y el César al mejor actor secundario en 2009.