Hardy fue elegido por primera vez para la Asamblea legislativa de Ontario en 1873 y llegó a formar parte del Consejo de Ministros de Sir Oliver Mowat en 1877 como Secretario Provincial.
Entrado en los sesenta y habiendo formado parte del gobierno durante más de veinte años, Hardy ya sin muchas energías y fuerza sucedió a Mowat tanto como primer ministro como fiscal general en 1896.
En las elecciones generales de 1898 fue reelegido por un escaso margen.
Exhausto y con necesidades económicas, Hardy se retiró de la política en 1899 muriendo dos años después de apendicitis.
[1] El cuerpo de Hardy fue originalmente enterrado en el cementerio de Greenwood, aunque 34 años después, su hijo el Senador Arthur Charles Hardy trasladó los restos de Hardy, su esposa, y su hija Gladys Mary Starr a Farringdon Burial Ground.