En 1998 Andrés Pastrana lo nombró Ministro de Defensa.
El presidente César Gaviría entre los años 1992 y 1994 lo nombró como Ministro de Trabajo y Seguridad Social donde su mayor reto fue sacar adelante la ley de reforma a la Seguridad Social.
[cita requerida] El presidente Andrés Pastrana Arango lo designó como su Ministro de defensa entre los años 1999 y 2001.
Renunció[4] a dicha cartera en mayo de 2001 para no inhabilitarse y presentarse como candidato presidencial del Partido Conservador.
Según la Fiscalía la responsabilidad de los socios del grupo SUMATORIA al que Ramírez hacía parte, deriva del acuerdo de confidencialidad firmado con anterioridad a la compra de las acciones y no excluía a los sindicados del conflicto de intereses para la negociación de las acciones mencionadas tantas veces, porque debieron declararse impedidos para adquirirlas en su beneficio y en el del señor Seinjet.