Se casó con Louise Lindner, heredera de la fortuna de los grandes almacenes Lindner; tuvieron cuatro hijos incluyendo a John Eastman y Linda McCartney, la primera esposa del ex-Beatle Paul McCartney.

George Harrison y Ringo Starr eligieron a Klein, aunque Lennon dijese en 1970 que él manipuló a Klein dentro de Apple.

La combinación Klein/Eastman no funcionó, y tras una reunión contenciosa, Eastman estaba fuera.

Posteriores discrepancias sobre las decisiones hechas por Klein y los otros Beatles sugirieron a McCartney -representado por Eastman- denunciarlos para disolver la asociación, y finalmente tuvo éxito.

Klein realizó algunos exitosos acuerdos a favor de los Beatles, y ganaron mucho más dinero durante la escasa permanencia de Klein de lo que habían ganado cuando habían sido asesorados por Brian Epstein.