Fue vicepresidente de los Estados Unidos desde 1877 hasta 1881 bajo el mandato del presidente Rutherford B.

[1]​ Durante su vicepresidencia, la administración de Hayes abandonó la Reconstrucción posterior a la Guerra Civil y buscó una alianza entre los republicanos del Norte y los viejos Whigs del Sur.

Este escenario no se materializó, y el fin de los esfuerzos republicanos por garantizar los derechos civiles y la igualdad social para los antiguos esclavos condenó a los negros del Sur a la opresión de los supremacistas blancos, que promulgaron las Leyes Jim Crow que perduraron durante décadas.

Según Hayes, Wheeler "era uno de los pocos vicepresidentes que mantenía una relación cordial, íntima y amistosa con el presidente.

Hayes había anunciado al comienzo de su administración que no se presentaría a un segundo mandato.