Seis meses más tarde, se encontró con un guitarrista callejero que le inspiró para empezar de nuevo.

Decidió mudarse al oeste, pero se encontró con que el público no era receptivo a la música de jazz progresivo.

Se quedó sin trabajo en California, cuando vio un espectáculo del guitarrista de blues Pee Wee Crayton.

[6]​ Baker dijo del encuentro: "Le pregunté a Pee Wee, '¿Quiere decir que usted puede hacer dinero tocando esas cosas en la guitarra?'

Me estaba muriendo de hambre hasta la muerte, y el blues era sólo una cosa financiera para mí entonces".

[5]​ Después de regresar al este, Baker comenzó a grabar para Saboya, King y Atlantic Records.

[2]​ Fue en esta época que se trasladó a Francia, donde trabajó con Ronnie Bird y Chantal Goya e hizo algunos discos de solo.

Su forma de tocar la guitarra, y en ocasiones su voz, aparecieron en los siguientes discos: Con Ruth Brown Con Al Hibbler