José María obtuvo en 1836 el título de bachiller en Leyes en la Universidad de Vitoria, marchó posteriormente a Madrid para continuar sus estudios y se licenció en esta ciudad en 1839 y obtuvo el doctorado en 1841.
En la capital, trabajó como pasante en el despacho de Juan Bravo Murillo y participó en círculos políticos favorables a la regente exiliada María Cristina.
Viajó a Bayona, Barcelona, Valencia, Cádiz y Sevilla, ciudad en la que se estableció en 1843, tras contraer matrimonio con Dolores González Álvarez, hija de Ramón González Pérez, un indiano, socio y amigo de su padre.
[1] José María Ybarra se estableció como comerciante en Sevilla y con el apoyo financiero de su familia, fundó una empresa naviera dedicada al transporte y comercio de cabotaje entre Sevilla y Bilbao, que empezó con un velero y al que incorporaría posteriormente barcos de vapor que incrementaron el volumen de negocio de la empresa.
En 1877, el rey Alfonso XII le concedió el condado de Ybarra.