Nacido en la prefectura de Gunma,[1]​ comenzó a actuar en el estudio Nikkatsu después de abandonar la Universidad Nihon e hizo su debut cinematográfico en 1942.

[2]​ En una carrera que abarcó 65 años, apareció en más de 250 películas, la más famosa en las películas de comedia del "Presidente de la Compañía" (Shachō) realizadas en Toho, donde trabajó junto a Hisaya Morishige, Daisuke Katō, Norihei Miki y otros.

[2]​ Allí ayudó a definir la imagen popular del asalariado de la posguerra.

[3]​ También ganó muchos premios por su actuación, incluidos los premios al mejor actor en los Mainichi Film Awards por Hadaka no taishō en 1958 (donde interpretó a Kiyoshi Yamashita),[4]​ por Kuroi gashū en 1960,[5]​ y por Everyman-shi no yūgana seikatsu en 1963.

[6]​ Kobayashi apareció en películas hechas por directores tan notables como Akira Kurosawa, Yasujirō Ozu, Mikio Naruse y Kihachi Okamoto.