Miller volvió a casarse en 1821; su segunda esposa era una muchacha dieciséis años menor que él, Mary Boykin (1804-1885).
Miller renunció a su carrera política en 1833 y se aventuró en la agricultura en Misisipi.
[2] Su hija Mary Boykin Miller (1823-86) se casó con James Chesnut Jr.
(1815-85), que más tarde se convirtió en un senador de los Estados Unidos y un general confederado.
Mary Chesnut se hizo famosa por su diario documentando la vida en Carolina del Sur durante la Guerra Civil.