Fue dos veces vicepresidente del Partido Conservador y en tres oportunidades asumió la presidencia de la organización política.

En su última presidencia al frente del Directorio Nacional Conservador (2013-2014) llevó a su partido a convertirse en la tercera fuerza política del país, por encima de su rival histórico, el Partido Liberal.

Por estos hechos, Josué Jaramillo fue condenado a 5 años de prisión.

[6]​ Los Yepes Alzate también fueron padres de Jesús María, Floro Arturo, Jaime, Juan Carlos, Jorge Hernán, Melinda, Gloria Inés, Lucelia y Luz Estela Yepes Alzate, todos ellos vinculdos al sector público colombiano.

[7]​ Su hermano mayor es el político Floro Arturo Yepes Alzate,[8]​ así como uno de sus hermanos más jóvenes, Arturo Yepes Alzate, todos militantes activos del Partido Conservador.