Yosef Serlin nació en Białystok, una ciudad del Imperio ruso ubicada en Podlaquia (hoy en Polonia), donde asistió al colegio hebreo.

Estudió derecho en la Universidad de Varsovia, recibiendo su título en 1929.

En 1933 emigró al Mandato británico de Palestina, y trabajó como abogado en Tel Aviv.

En 1954 se incorporó a Yosef Sapir y Simha Erlich para reforzar su control sobre el partido.

En 1961 se convirtió en uno de los líderes del Partido Liberal, siendo elegido para la quinta Knéset.