Fehégyarmat fue fundado supuestamente en el siglo X-XI por la tribu húngara de Gyarmat.
La ciudad recibió derechos para organizar mercados 4 veces al mes.
Durante esta época construyeron una fortificación (un castro) que fue demolida por Leopoldo I de Habsburgo.
Fehégyarmat sufrió de incendios que destrozaron el edificio del ayuntamiento y la iglesia católica.
Desde 2008 se organiza las fiestas anuales "Gyarmati Vígasságok" que tiene lugar en el parque de Kossuth cada agosto.