De regreso a su país se integró en el círculo de jóvenes arquitectos vanguardistas que lideraban Zeev Rechter y Arieh Sharon, que impusieron el estilo racionalista en la arquitectura del Mandato británico de Palestina.

[1]​ Realizó numerosas obras, entre las que destacan la sede del sindicato Histadrut en Tel Aviv (1953) y el Pequeño Teatro de Tel Aviv (1955).

[1]​ Con Zeev Rechter proyectó el Auditorio Mann o Palacio de la Cultura en Tel Aviv (1951-1957), cuya plaza anexa, conocida como jardín de Jacob, fue planificada por el hijo de Zeev Rechter, Yaacov Rechter.

[2]​ Karmi destacó especialmente en el ámbito residencial: sus numerosas viviendas, la mayoría en Tel Aviv, destacan por su funcionalismo y su cuidadoso estudio medioambiental, en el que tiene en cuenta tanto los porcentajes de sol y sombra como la brisa marina.

Sus hijos, Ram Karmi y Ada Karmi-Melamede, siguieron sus pasos en la arquitectura.