Gunn nació en Ciudad del Cabo, Colonia del Cabo, (ahora Sudáfrica), fue hijo de William Gunn, teniente en el 72 Regimiento, y su esposa Margaret, de soltera Wilson.
En 1831 Gunn conoció a uno de los primeros botánico de Tasmania, Robert William Lawrence (1807-33), quien influyó en su interés para la botánica y lo puso en contacto con Sir William Jackson Hooker y el Dr. Lindley, con quien mantuvo correspondencia durante muchos años.
Pero sus intereses no se limitaban a la botánica; se convirtió en un científico en general e hizo colecciones de mamíferos, aves, reptiles y moluscos, para el Museo Británico.
En 1864 Gunn fue nombrado un comisionado para la selección de la sede del gobierno en Nueva Zelanda.
Sir William Jackson Hooker, quien dedicó su Flora Tasmaniae a Gunn, y otro botánico de Tasmania, William Archer (1820 a 1874), habla de Gunn en su ensayo introductorio diciendo: 'Hay pocas plantas de Tasmania que el Sr. Gunn no ha visto con vida, señalando sus hábitos en vivo, y recogidas grandes cantidades de especímenes con tacto singular y juicio.
Cuando era el secretario privado a Sir John Franklin ayudó en la fundación, y fue editor de la Tasmanian Journal of Natural Science, que registró ponencias en la casa de gobierno.