Saunder era hijo de William Deacle Saunder, cirujano dental, y de Sarah Patience Nokes.

Se educó en la St Paul's School de Londres, y posteriormente accedió al Trinity College de la Universidad de Cambridge, donde se graduó en 1875 con excelentes calificaciones.

Casado en 1888 con Alice Duthoit, la pareja tuvo tres hijos (la mayor murió durante la infancia).

Saunder enviudó en 1893, ocho días después del nacimiento de su último hijo.

[2]​ Poseía un telescopio refractor de 7 pulgadas Throughton & Simms, instalado en un pequeño observatorio anexo a su casa.