Es conocido por su papel como Little John en la película de 1993 Robin Hood: Men in Tights.

Protagonizó como Bob Duncan en la serie de Disney Channel Good Luck Charlie.

Entre las actuaciones más destacables de Kramer han sido Little John en Robin Hood: Men in Tights, Bear en American Wedding, y Boris, el guardaespaldas del productor Lee Donowitz, en True Romance.

También ha aparecido en varias destacables series de televisión, incluyendo Two and a Half Men, Wizards of Waverly Place, Growing Pains, Cheers, Empty Nest, CSI: Crime Scene Investigation, NewsRadio, JAG, Roseanne, Murder, She Wrote, Seinfeld, That '70s Show, Ellen, Monk, Jack & Bobby, Phil of the Future, How I Met Your Mother y My Name Is Earl.

[3]​ Kramer sigue trabajando en teatro como un miembro del Antaeus Classical Rep Company en Los Ángeles, y recibió una nominación a Ovatti Award por su papel en "The Wood Demon".