Con Doris tuvo dos hijas, Ethel y Mary, que murieron muy niñas.Barrymore nunca llegó a recuperarse realmente de sus muertes y la pérdida tensó su matrimonio hasta terminar en divorcio en 1922.En 1907, luego de pasar algunos años en París, volvió a Broadway, donde estableció una reputación como actor dramático.Aunque pudo representar muchos tipos de personajes, como el malvado Rasputín en Rasputín y la zarina de 1932 (en donde coprotagonizó con John y Ethel Barrymore), estuvo, durante los años 1930 y 1940, estereotipado como un gruñón, pero normalmente dulce, hombre anciano en algunas películas como La isla misteriosa (1929), Grand Hotel (1932, con John), Cena a las ocho (1933, película en la que participaba también su hermano John, aunque no tuvieran escenas juntos), Capitanes intrépidos (1937), You can't take it with you (1938), Duelo al sol (1946), y Key Largo (1948).Por la calidad humana transmitida, es probable que su rol más conocido sea el protagonizado en Vive como quieras (1938), donde encarnó a Martin Vanderhof o, más cariñosamente, Grandpa (el abuelo), como le llamaba su nieta Alice Sycamore, interpretada por Jean Arthur.
