Fue gobernador de Nueva York de 1807 a 1817 y vicepresidente de los Estados Unidos de 1817 a 1825 bajo el mandato del presidente James Monroe.
Durante la guerra de 1812, había financiado personalmente el esfuerzo bélico de Nueva York con dinero prestado, pero no documentó adecuadamente sus gastos.
Tanto la legislatura de Nueva York como el gobierno federal le negaron el reembolso completo.
Con mala salud física y financiera, Tompkins pasó gran parte de su vicepresidencia fuera de Washington D. C., y fue un mal presidente del Senado mientras se debatía el Compromiso de Misuri en 1820.
En 1823, Tompkins finalmente obtuvo una compensación del gobierno federal, pero continuó bebiendo en exceso y fue incapaz de resolver sus asuntos comerciales.