Su padre Jacob Baer era un judío no practicante y su madre Dora Bales era protestante de ascendencia irlandesa-escocesa.

Comenzó su carrera como boxeador profesional en 1934, año en que su hermano se convirtió en campeón mundial.

En 1941, perdió por primera vez ante Eddie Blunt y luego derrotó a Tony Galento por nocaut técnico en el séptimo asalto.

En el primer asalto, sacó al campeón del ring con un puñetazo, pero Louis logró regresar antes de la cuenta.

Louis noqueó a Baer en el primer asalto, después de haberlo derribado dos veces anteriormente.

Una vez terminada la guerra y completada su baja del ejército en septiembre de 1945, regresó a Sacramento y comenzó su negocio más exitoso, Buddy Baer's Bar of Music en 1411 11th Street, que abrió con Fred Cullincini.

Después de la guerra, apareció con éxito en películas, entre ellas: Abbott and Costello - African Adventure (1949)[3]​ como Grappler McCoy, Quo vadis (1951) como Ursus,[4]​ Hansel and the Beanstalk (1952) como un gigante y el western The Endless Sky (1952) como lechuga romana.