Henry Ponsonby nació el 10 de diciembre de 1825, sus padres fueron el general del ejército británico sir Frederick Cavendish Ponsonby y lady Emily Charlotte Bathurst.
[3] Sirvió como asistente personal del príncipe Alberto a partir de 1856.
Ponsonby intentó «persuadir a la reina para que fuera más visible».
[3][6] Entre otras cosas, actuó como intermediario para los primeros ministros y los propios hijos de Victoria y al mismo tiempo trató de limitar la influencia de John Brown y Abdul Karim —dos sirvientes que fueron muy criticados por la estrecha relación que tenían con la reina.
Fue una extravagancia familiar continuada por su hijo Arthur y recientemente revivida por su descendiente Harriet Russell.