Nacido en la ciudad de Cartagena, pertenecía a una familia acomodada dedicada al comercio.

Posteriormente logró escapar a Francia y llegó hasta Toulouse.

Al ser provista la diócesis de forma unilateral por la Santa Sede, sin haber consultado a Franco, el nombramiento provocó malestar en este último.

Ballester se mostró desde el primer momento fiel al bando sublevado, como demuestran tres telegramas dirigidos respectivamente a Franco, Jordana y el conde de Rodezno en los que expresa su apoyo al primer gobierno de los rebeldes conformado cuatro días antes.

[4]​ Se encuentra enterrado en la Catedral de María Inmaculada (Vitoria).