Charanis nació en Lemnos, entonces parte de la Grecia otomana.

Continuó sus estudios como posgrado en la Universidad de Bruselas bajo el eminente bizantinista Henri Grégoire.

De 1936 a 1938, participó en el seminario de Grégoire donde conoció a su futura mujer Madeleine Schiltz y entabló amistad con Nicholas Adontz y Paul Wittek.

Según Charanis durante su estancia en Bruselas, desarrolló un profundo interés por los armenios, que se vio reflejado en varios de sus trabajos como Los armenios en el Imperio bizantino (Byzantinoslavica, 1961) y Una Nota sobre el Origen Étnico del Emperador Mauricio (Byzantion, 1965).

En aquel entonces, los estudios bizantinos se encontraban todavía en su infancia en los Estados Unidos y Charanis persuadió al departamento de historia de empezar un curso en Estudios bizantinos que se convirtió en uno de los cursos más populares en Rutgers.