Luchó voluntario en la II Guerra Mundial formando parte de la División Azul, ascendiendo a comandante por sus méritos en la Batalla de Krasni Bor en el Sitio de Leningrado.

Ascendiendo posteriormente a teniente coronel en 1952, coronel en 1961 como de gobernador militar de Huelva y jefe del Regimiento Granada n.º 34, general de brigada en 1968, como el general más joven del Ejército con 49 años, y ejerciendo como gobernador militar de Badajoz y Jefe de la Brigada de Infantería Mecanizada XXI, general de división en 1970 designado Jefe de la División de Infantería Mecanizada Guzmán El Bueno n.º 2, y llegando al empleo de teniente general en 1973, es nombrado ese mismo año capitán general de la VII Región Militar con sede en Valladolid.

En 1975 fue nombrado Capitán General de la II Región Militar, una de las más importantes del país, con sede en Sevilla.

Antes del intento de Golpe de Estado de 1981, conocido como 23F, se supone que realizó una activa acción política para cambiar al presidente del gobierno según explicaciones en una entrevista con Adolfo Suárez en aquella época presidente del Gobierno realizada por Pilar Urbano y que refleja en su libro: La gran desmemoria.

En esta narración, Adolfo Suárez indica que Pedro Merry Gordon participó con otros militares de alta graduación, entre ellos Jaime Milans del Bosch, en una petición de dimisión del propio Adolfo Suárez, al pedirle una razón para su dimisión, el general Merry Gordon saca de su guerrera una pistola Star 9 mm, se la pone en la palma de la mano izquierda y mostrándola dice al presidente: «¿Le parece bien a usted esta razón? ».