Es conocido principalmente por su larga trayectoria en el Parlamento Vasco donde fue parlamentario de forma ininterrumpida entre 1980 y 2009 como representante del PNV por Vizcaya.
José Antonio Rubalkaba es licenciado en Derecho y abogado de profesión, aunque no ejerce desde que se dedicara a la política.
De 1987 a 1998 ejerció como portavoz y presidente del grupo parlamentario nacionalista en el Parlamento Vasco.
En 1992 entró a formar parte del Euskadi Buru Batzar (EBB), máximo órgano de dirección del PNV, cargo en el que permaneció hasta 2007.
Con 68 años de edad, tras 28 como parlamentario vasco y convertido en el más veterano del Parlamento Vasco, Rubalkaba anunció a finales de 2008 su jubilación ya que no se presentaría a la reelección.