El partido fue presentado en noviembre de 1839, y su primera reunión tuvo lugar en Warsaw, Nueva York.
Sin embargo, pudo haber cambiado la victoria de Henry Clay a James Polk en las elecciones de 1844, habiendo recibido Birney 15.800 votos en Nueva York y Polk ganando en Nueva York por 5.100 votos.
[3] Si Clay hubiese ganado Nueva York, él habría tenido la mayoría de los votos electorales, no Polk.
En 1848, con el sentimiento político provocado por las Enmienda Wilmot, y la facción "barnburner" de los demócratas de New York que se separó del resto del partido Demócrata, existía la posibilidad de formar una agrupación política mucho más grande y más influyente dedicado a los objetivos antiesclavistas, pero no todos se consideraban abolicionistas como tales, o estaban dispuestos a trabajar bajo el nombre del Partido de la Libertad.
Un miembro del partido de libertad que más tarde llegó a gran prominencia política como Free-Soiler y republicano fue Salmon P. Chase.
En ausencia de Chase, la retórica religiosa en los discursos oficiales y las plataformas del partido aumentó.