Casó en primeras nupcias con Juana Jofré Niño de Guevara, con quien tuvo a Juana, María, Francisco y Alonso de Robles y Jofre.
La Corona desaprobó lo actuado por el doctor Robles y su yerno, por no haber contado con autorización real.
Después de concluida su presidencia, el doctor Robles, que había acumulado una gran fortuna, permaneció en Panamá.
En 1545, juntamente con sus capitanes Juan de Guzmán y Juan de Illanes, se enfrentó Pedro de Hinojosa, capitán general de Gonzalo Pizarro, junto con Juan Alonso Palomino, Pablo Meneses, sus capitanes, y otros consortes y aliados en la tiranía y alzamiento en Panamá contra la Corona.
En 1551 confirió un poder a Sebastián Rodríguez para pedir que Hinojosa, Meneses y Palomino lo indemnizara por los daños que le habían causado en Panamá en 1545.