Fue el primer músico que compuso para las Iglesias Reformadas protestantes y que publicó tratados de música en lenguaje no académico.

Fue autodidacta, aprendiendo los fundamentos de los conocimientos musicales por sus propios medios, hasta que en 1524 consiguió un puesto como cantor y maestro de música en la principal escuela protestante de Magdeburgo (en la antigua Prusia), ciudad donde permanecería hasta su muerte.

En su obra Música instrumentalis deudsch ("Instrumentos musicales alemanes") de 1529, que a pesar de su título políglota está escrita íntegramente en alemán, Martin afirma que, aunque no tuviera preparación musical académica, continuaba aprendiendo el arte de la música por cuenta propia al mismo tiempo que ejercía como profesor.

Martin Agricola entabló una gran amistad con Georg Rhaw, senador de Wittenberg, el cual imprimió la mayor parte de sus trabajos.

En la actualidad, la ciudad de Magdeburgo posee en su honor una calle con su nombre.