En la semifinal se enfrentaron al equipo soviético.

Un mes antes de este partido la Unión Soviética había invadido Hungría.

En Roma 1960 solo pudieron conseguir el Bronce y Gyarmati se despidió de las olimpiadas en Tokio 1964 con un oro.

Fue un excelente nadador, su mejor tiempo en los 100 m fue de 58.5 segundos, por ello se decía de él que era 'El waterpolista más rápido del mundo'.

Más tarde Gyarmati pasó a ser entrenador del equipo nacional Húngaro con el que ganó la medalla de oro en 1976.