Tras formarse en una casa misionera en la ciudad suiza de Basilea, Koelle ingresó en 1845 en la Sociedad Misionera de la Iglesia en Londres.
A partir de 1847, vivió y trabajó en Sierra Leona, un protectorado británico establecido en África Occidental para esclavos libertos.
Koelle impartió clases en el Fourah Bay College.
[1] Allí recopiló material lingüístico sobre numerosas lenguas africanas, parte de esclavos libertos como Ali Eisami, un hombre kanuri.
En 1854 publicó su obra cumbre, Polyglotta Africana, que marcó el inicio de un estudio serio de las lenguas africanas por parte de investigadores europeos.