Armas Järnefelt era hijo del general August Aleksander Järnefelt y de Elisabeth Järnefelt (de soltera Clodt von Jürgensburg).
Sus hermanos eran Kasper, Arvid, el pintor Eero (Erik), Ellida, Ellen, Aino (esposa de Jean Sibelius), Hilja y Sigrid.
Armas Järnefelt fue el primer compositor finlandés que dirigió las óperas de Richard Wagner en Finlandia.
Sus profesores de música fueron en Helsinki, Ferruccio Busoni y en París, Jules Massenet.
Mantuvo relaciones cercanas con Jean Sibelius, quien se casó con su hermana Aino.