Su padre, Panagiotis Zachariadis, era de origen pequeño burgués y trabajaba en la compañía Regie, una empresa francesa que poseía el monopolio del tabaco en Turquía.
Durante esa etapa llevó a cabo sus primeras tareas organizadas en el movimiento obrero.
En 1931, fue enviado nuevamente a Grecia y ese mismo año fue elegido Secretario General del Partido Comunista griego (KKE).
[2] El KKE conserva una carta abierta, escrita por Zachariadis, en la que expresaba “Debemos dar todas nuestras fuerzas, sin reserva alguna, a esta guerra dirigida por el gobierno de Metaxás",[3] señalando que “el premio para el pueblo trabajador y la culminación de esta lucha actual debe ser y será una nueva Grecia del trabajo, de la libertad, liberada de cada dependencia extranjera imperialista y explotación, con una cultura realmente popular”.
[3] Zachariadis, junto Markos Vafiadis, líder del Ejército Popular de Liberación Nacional, (ELAS) durante la ocupación fascista,[6] fue una figura relevante en la formación y operaciones del Ejército Democrático Griego (DSE), conducido por el KKE durante la guerra civil griega.