Roberts nació como un hombre libre, de ascendencia mixta africana y europea, y creció en Norfolk, Virginia, en los Estados Unidos.
Estudió en la Norfolk Academy y en la Maury High School.
En 1829, su familia se trasladó a Liberia y estableció una tienda comercial en Monrovia.
Sin embargo en 1871, el presidente Edward J. Roye fue depuesto en un golpe de Estado por partes leales al Partido Republicano basándose en que estaba planeando cancelar las cercanas elecciones.
Roberts, uno de los líderes del Partido Republicano, ganó las siguientes elecciones presidenciales y así volvió al cargo.