Después de estudiar medicina en Edimburgo, fue contratado como médico en la Compañía de la Bahía de Hudson, aceptando un puesto como cirujano en la Moose Factory (Ontario), permaneciendo allí durante diez años.

Entre 1846 y 1854 Rae realizó cuatro expediciones al Ártico, en las que recorrió más de 10 000 millas a pie o en pequeñas embarcaciones, y reconoció unos 1800 kilómetros de costa aún no suficientemente conocidos.

Su obra Narrative of an expedition to the shores of the Arctic Sea, in 1846 and 1847 («Narración de una expedición a las costas del Mar Ártico», en 1846 y 1847) apareció en 1850.

Además Rae publicó numerosos obras en que describió sus viajes, los indios e inuit con los que se encontró y la historia natural del Ártico.

El pueblo de Rae-Edzo (ahora Behchoko), en los Territorios del Noroeste, también fue nombrado en su honor.