En el año 1760 se inició como escritor con Fragments of Ancient Poetry collected in the Highlands of Scotland (Fragmentos de antigua poesía recogida en las Tierras Altas de Escocia), que decía haber traducido del gaélico; ese mismo año obtuvo más manuscritos y en 1761 afirmó haber encontrado un poema épico sobre el rey Fingal escrito por el bardo céltico Ossian, que publicó con el título Fingal en ese mismo año; después publicó Temora (1763), otra presunta traducción, y por fin la edición de la colección completa de esos supuestos manuscritos, The Works of Ossian (Las obras de Ossian), en 1765.

La polémica quedó más o menos definida cuando el doctor Samuel Johnson dictaminó que los poemas de Ossián eran en realidad una mixtificación de Macpherson: composiciones medievales unidas por textos propios originales compuestos ad hoc.

Pero la polémica continuó hasta principios del siglo XIX, con discusiones sobre si los poemas se basaban en fuentes irlandesas, en fuentes escritas en inglés, en fragmentos gaélicos refundidos en el texto de Macpherson como concluyó Samuel Johnson o en tradiciones orales en gaélico escocés como afirmaba Macpherson.

Los estudios modernos tienden a creer que Macpherson había recogido realmente baladas gaélicas de Ossián, pero las adaptó a la sensibilidad contemporánea alterando el carácter y las ideas originales e introduciendo mucho material propio.

En 1764, Macpherson fue nombrado secretario del gobernador colonial de Pensacola (Florida) George Johnstone.