Kelly estudió metalurgia en la Universidad Occidental de Pensilvania.
En lugar de dedicarse a la investigación, él y su hermano fundaron una empresa llamada McShane & Kelly.
En 1851, observó casualmente cómo una corriente de aire que actuaba sobre el hierro fundido generaba más calor si éste no estaba cubierto por carbón vegetal, y que el carbono del hierro fundido podía ser eliminado o rebajado solo por medio del aire, actuando como combustible el propio carbono.
Haciendo que quedara en el metal una proporción alta de carbono, se podía emplear este proceso para la fabricación de acero.
Durante los años siguientes, desarrolló sus investigaciones en secreto, por lo que en 1856, cuando se dispuso a patentar su invento, descubrió que ya lo había hecho el británico Henry Bessemer, que había llegado a la misma conclusión independientemente.