Su repudio a la política antipopular de Buenaventura Báez le costó el destierro en 1868.

En efecto prefirió dar las dimisiones como un Cincinato romano, que luego llegó a pedir 20 pesos a sus amigos para pagar una deuda (algo increíble para los dominicanos de esos tiempos).

Sus últimas palabras como Presidente fueron: Creo que doy un buen ejemplo dando mis dimisiones espontáneamente y desapareciendo entre las sombras de mi casa, sin mezquinas aspiraciones para el futuro.

El aporte más relevante de Billini a la literatura nacional dominicana es la novela Baní o Engracia y Antoñita (1892), en la que enjuicia el comportamiento político-social y las costumbres de los banilejos decimonónicos.

En 1998 sus restos mortales fueron trasladados al Panteón Nacional de Santo Domingo por disposición del Presidente Leonel Fernández.