Fue derrotado en su carrera por la reelección en 1862 por su compañero abogado nacido en Maine James S. Brown, un demócrata que había sido fiscal y alcalde de Milwaukee, y que sería derrotado al año siguiente por un general republicano.

Durante la campaña, su hijo Alfred C. Potter se había alistado en la 28.ª Infantería de Wisconsin en agosto de 1862 como sargento, pero sería reclutado en abril siguiente y comenzó a recibir una pensión en 1896.

Así, Potter residió en lo que entonces era la capital canadiense de Montreal, en el Bajo Canadá.

[2]​ En 1866, Potter regresó a East Troy, Wisconsin donde reanudó su práctica legal.

[2]​ Se casó con Frances Elizabeth Lewis Fox Potter (1818–1863) de Portland, Maine.

Fue enterrado junto a su esposa en la parcela familiar en el cementerio de Oak Ridge en East Troy.