Formuló la conocida como ley de Szemerényi, por la que en protoindoeuropeo las consonantes -s y las laringales detrás de resonante a final de palabra desaparecen, con alargamiento compensatorio de la vocal anterior, como en PIE */ph₂térs/ ‘padre’ > *ph₂tḗr (griego antiguo πατήρ, sánscrito pitā́).
Estudió en Hungría, en la Eötvös Loránd University, así como en las universidades de Heidelberg y Berlin.
Fue un seguidor del lingüista húngaro Gyula Laziczius.
En 1944 se doctoró con una tesis sobre la unidad del baltoeslavo, y en 1947 fue nombrado profesor de lingüística indoeuropea comparativa también en Budapest.
Regresó a Inglaterra en 1948, donde trabajó en el Bedford College hasta 1960.