Yosef sirvió en una variedad de cargos ministeriales durante los dos primeros Knéset, y fue el segundo Ministro de Justicia, ocupando ese puesto en dos ocasiones (1951-52 y 1961-66).

Después del final de la Primera Guerra Mundial, trabajó como abogado en Palestina.

En 1933, Yosef se unió a Mapai, partido político de David Ben-Gurión, y fue elegido para el primer Knéset en enero de 1949.

Mantuvo esta posición en el nuevo gobierno formado por Moshe Sharett después de que Ben-Gurion renunciara.

Sin embargo, durante el quinto Knéset fue nombrado Ministro de Justicia por Ben-Gurion a pesar de estar fuera del Knéset.