Fue el hermano menor de Wes Montgomery y Monk Montgomery, y juntos grabaron una serie de álbumes juntos, como The Montgomery Brothers[1] Buddy toco por primera vez profesionalmente en 1948, en 1949 toco con Big Joe Turner, y poco después con Slide Hampton.
Después de un período en el Ejército, donde tenía su propio cuarteto, se unió a la Mastersounds como vibrafonista con su hermano Monk, el pianista Richie Crabtree y el baterista Benny Barth en 1957.
[2] Lideró la Montgomery-Johnson Quintet con Ray Johnson, de 1955 y 1957.
En 1969 se mudó a Milwaukee, Wisconsin, y enseñó jazz a nivel local.
A principios de la década de 1980 se trasladó a Oakland; allí se lanzó más material solista y tocó con la Banda de la Reunión de Riverside, Charlie Rouse, David Fathead Newman y Bobby Hutcherson.