Nacido en Londres, fue educado en Harrow School y Christ Church, Oxford.
[2] G.F.A en su biografía Shaftesbury, escribió que: "Ashley creció sin ninguna experiencia de amor paternal.
Millis proporcionó a Ashley un modelo del amor cristiano que formaría la base para gran parte de su activismo social más tarde y su labor filantrópica.
En 1842 Ashley se escribió dos veces con el primer ministro, Sir Robert Peel, para instar al gobierno a apoyar una nueva ley de fábrica.
Sin embargo en una posterior votación su enmienda fue derrotada por siete votos y el proyecto de ley fue retirada.