Noveno hijo de once del matrimonio entre Michael Kaiser y Anna Maria Matt, Peter fue a la escuela en Mauren, Feldkirch y Viena.
Aunque en 1819 estudió historia e idiomas en Hofwil, Yverdon, Aarau, Disentis y Coira llegando a dominar el griego, el latín, el italiano, el inglés y el francés.
Los cambios que estaba sufriendo Europa central en aquellos años llegaron también a Liechtenstein, donde en 1848 estalló la revolución.
Gracias a su intervención no hubo enfrentamientos sangrientos y logró convencer al Príncipe Alois de comenzar reformas en los derechos y libertades de los ciudadanos.
Llegando incluso a crearse en 1985 una fundación en su honor, Gedächtnisstiftung Peter Kaiser.