En 1834, sucedió a su padre como 13.º conde de Derby y abandonó la política.

Luego se dedicó a su colección de historia natural que se conservan en Knowsley Hall, Liverpool.

Poseyó una gran colección de animales vivos.

A su deceso existían 1272 aves y 345 mamíferos; y su colección fue en gran parte conservada en el Museo de Liverpool.

Encargó al escritor y artista Edward Lear dibujar a los animales del zoológico, tarea a la que dedicó casi cinco años.