Fue miembro del Partido Conservador, con su aval fue elegido por elección popular para integrar el Senado de Colombia.
A lo largo de su carrera ha representado los siguientes partidos:[3] Entre 1982 y 1983, fue ministro de Desarrollo Económico del presidente Belisario Betancur; y desde 1986 hasta 2002 fue sugerido en varias ocasiones como posible candidato presidencial, si bien esta opción nunca se concretó.
Desde los años 1970 hasta 2018 fue uno de los caudillos electorales de su región, rivalizando fuertemente con el senador José Name Terán, y desde los años 1990 contendió electoralmente con el clan del senador Fuad Char.
En las elecciones legislativas de Colombia de 1974 llegó al Senado de Colombia, si bien durante su primer año cedió la curul para ocupar la gobernación del Atlántico; en 1975 regresó al ejercicio como senador, se mantuvo en su curul durante 44 años, siendo reelecto en 1978, 1982, 1986, 1990, 1994, 1998, 2002, 2006, 2010 y 2014.
Participó en las siguientes iniciativas desde el Congreso: [3] Gerlein fue el centro de atención en numerosas polémicas debido a su postura en contra del matrimonio entre personas del mismo sexo.