Estuvo casado con Concha María de la Concepción del Río y Madueño, con quien tuvo a sus dos hijos, Roberto y Conchita Agramonte del Río.

Era miembro del Partido Ortodoxo presidido por Eduardo Chibás, al igual que Fidel Castro.

Al morir Chibás en 1951 Agramonte quedó como candidato natural para Presidente, en las elecciones que debían realizarse el 1 de junio de 1952.

[2]​ Cuando la revolución cubana triunfó el 1 de enero de 1959 Agramonte fue elegido para integrar el primer gabinete como Ministro de Relaciones Exteriores, siendo Presidente Manuel Urrutia Lleó y primer ministro José Miró Cardona, cargo que desempeñó por cinco meses.

Abandona Cuba con su familia en 1960 radicando desde entonces y hasta su muerte en Puerto Rico.