Aunque jugó 15 temporadas en las Grandes Ligas para 4 equipos diferentes, Berg nunca fue más que un jugador del montón, usado en la defensa, y generalmente era más conocido como "el hombre más inteligente del béisbol"[1]​ que por sus logros deportivos.

Casey Stengel lo describió una vez como "el hombre más extraño que haya jugado al béisbol".

[2]​ Se graduó de la Universidad de Princeton y Columbia Law School, hablaba varios idiomas y leía varios periódicos al día.

Su reputación aumentó con sus apariciones exitosas en el programa radial de preguntas y respuestas "Information, Please!

[3]​ Como espía, viajó a Yugoslavia a obtener información sobre grupos de resistencia que los Estados Unidos consideraban apoyar.