A los diecinueve años fue encarcelado durante algunos meses acusado de haber escrito una sátira contra sus protectores en el colegio.
No obstante, él mismo fue violentamente atacado y sufrió muchos epigramas, especialmente los de Lebrun Pindare.
Marmontel, que lo recibió, aprovechó la ocasión para elogiar al predecesor de La Harpe, Charles-Pierre Colardeau, especialmente por su disposición pacífica, modesta e indulgente.
El discurso fue interrumpido por los aplausos del público, que optó por considerarlo como una serie de sarcasmos por parte del nuevo miembro.. Finalmente La Harpe se vio obligado a renunciar al Mercure, que había editado desde 1770.
En prisión sufrió una crisis espiritual que describió con un lenguaje convincente, emergiendo como un católico ardiente y un reaccionario político.
Cuando retomó su cátedra en el Lycée, atacó a sus antiguos amigos de la política y la literatura.
Entre sus obras póstumas se encontraba una Prophétie de Cazotte, que Sainte-Beuve catalogó como su mejor obra.