En 1815 tomó parte de la Tercera expedición auxiliadora al Alto Perú comandada por el general José Rondeau.

En esta acción auxilió a su comandante José María Paz, herido en su brazo derecho.

El 11 de noviembre de 1819, Heredia y los comandantes de las otras dos unidades, capitanes Abraham González y Manuel Cainzo, encabezaron un alzamiento que arrestó al gobernador intendente Feliciano de la Mota Botello, partidario del Directorio, y al enfermo general Manuel Belgrano, y que tres días después entregó el poder a Bernabé Aráoz, en el que sería el primer movimiento que conduciría a la Anarquía del Año XX.

Belgrano había permanecido detenido en Tucumán, la misma ciudad en la que pocos años antes había salvado a la revolución, y solo la intercesión de su médico particular, el escocés Joseph Redhead, impidió que fuera encadenado.

En 1824 su hermano fue elegido representante en el Congreso Nacional Constituyente por su provincia (y luego por la de Salta).

El nuevo gobernador de la provincia de Buenos Aires Manuel Dorrego envió a su hermano Alejandro Heredia a las provincias del norte para promover la realización de un nuevo Congreso y obtener refuerzos para continuar la guerra del Brasil, y Felipe Heredia sumó su apoyo.

Tras el fusilamiento de Dorrego y mientras duró la guerra civil entre las provincias del partido federal y las de la Liga del Interior, Alejandro Heredia dirigió con el apoyo de su hermano una organización federal secreta en Salta y apoyó el golpe que dio brevemente el poder a Pablo Latorre en esa provincia en 1830.

En agosto de 1833 los Heredia apoyaron una fracasada revolución en contra del ahora gobernador salteño Latorre, quien al siguiente año apoyó en represalia la invasión de Ángel López, sobrino del general unitario Francisco Javier López.

En los hechos significaba una toma de partido a favor de los Heredia quienes avanzaron con sus fuerzas desde Tucumán mientras desde Jujuy hacían lo propio tropas a las órdenes del teniente coronel Campero.

Caído Latorre, Felipe Heredia fue destacado por su hermano para restablecer el orden en Jujuy.

Tras la victoria los Heredia dividieron sus fuerzas e invadieron Salta sin oposición por dos puntos mientras una revolución federal instigada por los hermanos obligaba a renunciar el 5 de marzo al gobernador Antonio Fernández Cornejo.

Gobernó Salta hasta fines de 1838, teniendo como ministros sucesivamente a Marcos Paz, con quien elaboró un plan de colonización del Chaco salteño, y a Toribio Tedín.

En 1836, las actividades de los emigrados en Bolivia y las reiteradas incursiones en la frontera del norte argentino llevarían pronto al conflicto.

Poco después Chile regresó a la guerra y el 28 de marzo el almirante francés Luis Francisco Leblanc inició el Bloqueo francés al Río de la Plata, por lo que ambos contendientes veían abrirse nuevos frentes.

Fianalmente Alejandro Heredia intentó una doble ofensiva que si bien consiguieron penetrar en territorio boliviano debieron retirarse y lo forzaron el 22 de agosto a ordenar la retirada hacia Jujuy y luego a Tucumán, para finalmente dispersar el ejército confederado y devolver las tropas a sus provincias de origen.

El 16 de noviembre Felipe Heredia envió desde su cuartel general en San Agustín su dimisión al gobierno de Salta y designó una comisión gubernativa compuesta por el coronel Juan Manuel Quiroz y el teniente coronel Manuel Solá, tras lo que emigró a Chile.