Fue gobernador civil de Castellón, Santander, Zamora, Salamanca, Oviedo, Huesca y Alicante.
Durante la guerra a través de su primo el General Fructuoso de Miguel y Mauleón, Subsecretario de la guerra, entró en contacto Baztán con el General Martínez Campos, ganándose su confianza y amistad, pasando a ser este en adelante su valedor político.
Finalizada la guerra le concedieron la cruz de la orden del mérito militar.
En 1882 Antonio Baztán se presentó por primera vez a diputado provincial como conservador por el distrito de Los Arcos resultando elegido frente a Santiago Solano Aguiñiga perteneciente al grupo de los euskaros.
Tras ocho años de diputado provincial comenzó una nueva actividad como gobernador civil y no se presentó a las elecciones de 1890, solicitando el apoyo para su candidato a dichas elecciones, su pariente Ricardo Gastón, mayor propietario de Lodosa y adscrito como el al conservadurismo, que resultó elegido.
Perderá las elecciones reintegrándose cómo gobernador civil de Huesca y Alicante.
Perdió las elecciones y en 1910 volvió a la alcaldía de su pueblo natal Lodosa.
Baztán logró una victoria aplastante frente al nacionalista Claudio Armendáriz y resultó elegido diputado y accedió de nuevo al máximo cargo de la Diputación.
Se presentó frente al nacionalista Manuel de Irujo y el carlista Francisco Errea.
Baztán perderá las elecciones contra Irujo, que se presentaba por la alianza foral.