Desde ese puesto, que en la práctica le daba el mando efectivo del gobierno del país, mantuvo una conflictiva relación con su jefe nominal el Lord Teniente de Irlanda, aunque fue conocida su postura favorable sobre implementar un sistema de educación nacional.Fue entonces cuando junto a otros disidentes formó un grupo -el Derby Dilly- que buscó representar una alternativa intermedia tanto al cada vez más radical liberalismo de Lord John Russell como al conservadurismo de los tories.Gradualmente, el grupo se fue acercando más a los conservadores y, para 1841, durante el segundo gobierno de Sir Robert Peel, muchos tomaron cargos importantes, incluido Stanley, quien volvió a asumir la Secretaría de Colonias.Al año siguiente, volvió a romper con el gobierno por la abolición de las proteccionistas Corn Laws y consiguió atraerse la mayoría del Partido Conservador.En 1852, tras la caída del gobierno de Russell, Derby formó un gobierno en minoría con un gabinete compuesto mayoritariamente por tories con poca experiencia - las figuras representativas del partido habían decidido seguir a Peel.En 1858, su gabinete volvió a obtener un segundo voto de no confianza presentado por Lord Hartington, quien representaba a un grupo de whigs y radicales que darían inicio al nuevo Partido Liberal.
