Nacido en Skogen, en la cercanía de Christiania, Noruega, Olsen emigró a los Estados Unidos, Wisconsin a la edad de 5 años.
Desde 1876 a 1877 asistió al Battle Creek College, conocido actualmente como Universidad Andrews.
En 1869 la Asociación de Wisconsin le concedió una licencia ministerial.
Se desempeñó en una variedad de puestos administrativos.
Durante su presidencia, enfrentó problemas financieros y organizativos, dio los primeros pasos para establecer un presupuesto para la Asociación General, y fomentó el desarrollo del concepto de Unión de Asociaciones en Australia.