Su carrera comenzó en los años cincuenta, destacando su participación en la cinta North by Northwest (1959), del director Alfred Hitchcock.

Con 17 años comenzó a trabajar como dibujante y caricaturista para el New York Daily News, pero influido por Charlie Chaplin se propuso convertirse en actor.

En 1959, con 31 años, hizo su debut en el cine con un papel en la película North by Northwest (Con la muerte en los talones) dirigida por Alfred Hitchcock.

Según el autor Patrick J. White en su libro The Complete Mission: Impossible Dossier, inicialmente Landau rechazó firmar un contrato con los productores de la serie porque no quería que el show interfiriera con su carrera en el cine, y por ello durante la primera temporada apareció en los créditos como Estrella Invitada, pasando en la segunda temporada a convertirse en miembro del reparto a tiempo completo.

Landau trabajó en la serie con su futura esposa, Barbara Bain, y ambos abandonaron la misma antes de la tercera temporada alegando motivos salariales, aunque las razones exactas nunca han sido confirmadas.

En la entrega del premio a Landau se lo vio visiblemente enfadado cuando la orquesta intentó cortar su discurso; en ese momento golpeó el atril y gritó «¡No!».

Posteriormente explicó que se había sentido frustrado por no disponer del tiempo suficiente como para dedicar el premio a Béla Lugosi.