Tras la muerte de su abuelo, el primer Lord Baden-Powell, el padre de Robert, Peter, que había estado trabajando en Rhodesia del Sur desde 1935, se convirtió en el segundo Lord Baden-Powell.
Para su Servicio Nacional, sirvió como un destacado marinero en la Marina Real Británica, y durante la Crisis de Suez, sirvió en el portaaviones de flota ligera HMS Bulwark.
Posteriormente descubrieron que habían estado juntos en la escuela primaria en Rhodesia del Sur.
[1] Lord Baden-Powell se unió al Movimiento Scout como Lobato en 1946 en Rhodesia del Sur.
Como adulto, comenzó su carrera en el escultismo como Asistente de Líder Scout con el 100th Nottingham Group entre 1959 y 1962.