Ingresó como soldado al Regimiento Suizo de Reinhart a los 13 años.
Más tarde fue ascendiendo hasta llegar a jefe de batallón en 1799.
Regresó al frente oriental, combatiendo en las batallas de Dresde y Leipzig.
Tras la derrota definitiva de Napoleón, el rey Luis XVIII lo incluyó en su ordenanza que condenaba a muerte a los oficiales que hubieran acompañado al Emperador, en septiembre de 1816.
Brayer trató de culpar del fracaso a Las Heras, lo que O'Higgins rechazó.
Retrocediendo hacia el norte con el resto del ejército, Brayer volvió a cometer un error grave cuando ordenó al coronel Ramón Freire abandonar Lontué en presencia del enemigo, que estuvo a punto de destruir su división.
Al iniciarse la batalla de Maipú, Brayer solicitó autorización para irse a tomar unos baños termales.
Como Brayer insistió, San Martín lo dio de baja frente a todo su estado mayor y le gritó Mientras los realistas huían derrotados en Maipú, Brayer huyó a Buenos Aires; allí publicó unos panfletos contra San Martín y exigió el pago de sus sueldos y premios.
Aprovechando una especie de libertad condicional, huyó meses después a Montevideo.
Indultado de la antigua condena a muerte, recuperó todos sus cargos militares y honores.