Por nacimiento pertenecía a la dinastía Spencer.
James, Westminster, hijo de Federico Spencer, IV conde Spencer y su segunda esposa, Adelaida Horacia, hija de Horacio Beauchamp Seymour y nieta del Almirante Hugh Seymour.
Fue educado en la Escuela Harrow y en el Colegio Trinity.
El 19 de diciembre de 1905, fue creado primer vizconde Althorp y se convirtió en Lord Chambelán (su hermano mayor, John Spencer, aún era conde Spencer).
Charles Robert moriría doce años después en su casa de St.