Sus obras gozaron del respeto de algunos eruditos como Henry Alford, Heinrich Ewald y George Anthony Denison.
Kelly se graduó con honores en Clásicas en el Trinity College de Dublín.
Estos estudios fueron continuados a la par que veía la luz otra publicación: The Prospect.
Se encargó personalmente de editar The Bible Treasury en 1857, trabajo que continuó desempeñando hasta su muerte.
Un clérigo ya anciano, que había acudido a Kelly en busca de consejo hacía tiempo, dejó escrito al enterarse de su muerte: “Era, muy por encima de otros, un hombre leal que temía a Dios más que nadie”.
Se identificaba sin reservas con el cuerpo de doctrina elaborado por John Nelson Darby, de quien fue brazo derecho durante muchos años, hasta que en 1881 cortó su relación con él para formar una facción de la que sería su propio líder.
W. G. Turner y Heyman Wreford también escribieron breves biografías de Kelly.