También fue concejal de su municipio en varias oportunidades.

En 1995 fue designado Secretario de Obras Públicas de Antioquia por el recién elegido gobernador Álvaro Uribe Vélez, a quien acompañó durante su mandato, que finalizó en diciembre de 1997.

En 2000 se presentó como precandidato a la Gobernación de Antioquia por el Partido Liberal Colombiano, pero fue derrotado en una consulta popular por el también ingeniero Guillermo Gaviria Correa.

Pese a que regresó a sus cátedras en la universidad, aceptó otro retiro temporal cuando Álvaro Uribe fue elegido Presidente de Colombia en 2002 y lo llamó a ocupar el cargo de Ministro de Transporte y Obras Públicas, en el cual se mantuvo durante los dos períodos presidenciales (ocho años de mandato) de Uribe.

Gallego reemplazó al ministro saliente Gustavo Canal Mora como Ministro de Transporte de Colombia desde el 2002 hasta el 2010.