En 1828, Ford contrajo matrimonio con Frances Hambaugh de la cual tuvo tres hijas y dos varones.La profunda animadversión desatada fue aprovechada por el gobernador Ford quien tachó a los mormones como una pestilencia que había que extirpar[2] y al autoproclamado profeta mormón José Smith como el "impostor más exitoso de todos los tiempos" y cuyo ascendiente y carisma amenazaban no solo con corromper y reemplazar a las tradicionales corrientes cristianas protestantes del Estado, sino que al verlo como un serio opositor político debido a su postulación al sillón presidencial del líder religioso en 1844 lo transformaron en el más enconado enemigo soterrado del mormonismo.Ford tuvo que soportar acusaciones por la supuesta responsabilidad en el asesinato de José Smith, pero él negó toda participación y no pudo ser probado su supuesto conocimiento de que iban a ser asesinados.Los mormones finalmente abandonaron Nauvoo en 1846, año en que Ford terminó su polémico mandato.Ford en 1847 volvió a ejercer como abogado en Peoria, Illinois, pero no prosperó y se sumió progresivamente en la miseria económica más dura.