En 2006, la Fundación Labayru publicó 20 cartas escritas por Berriochoa en euskera entre 1845 y 1858, la mayoría dirigidas a su madre.Se consideran una fuente de primer orden para conocer la lengua vasca del Duranguesado en el siglo XIX.Trasladado a la capital provincial Hải Dương, en el interrogatorio solamente se le preguntó a Berriochoa por su nombre (se le conocía por Vinh, "el victorioso"), cuánto tiempo llevaba en el país (cuatro años), dónde vivía (en Biu Chu), si había tenido relación con los revoltosos de 1858 (que no y que había aconsejado que nadie tomara las armas), y si conocía al obispo Lien (Jerónimo Hermosilla, que sí).Dispuso el tribunal que fueran encerrados en pequeñas jaulas individuales donde solamente pudieran estar en cuclillas.La tumba fue profanada durante la guerra civil, según anotación en su diario del médico argentino y combatiente franquista Héctor Colmegna.
Palacio de Arriola, casa natal del Santo, en Elorrio