Jarreau alternó desde niño su interés por la música con los estudios de psicología, que fue su primera profesión (se graduó como psicólogo en 1962 como licenciado en psicología, y obtuvo su maestría en rehabilitación vocacional en la Universidad de Iowa), comenzó a ejercer en San Francisco como consejero rehabilitador durante cuatro años, ayudando a personas con problemas de alcoholismo, adicciones, esclerosis múltiple o amputaciones.

Ayudado por los productores Tommy LiPuma y Al Schmitt, consiguió editar sus primeros discos.

En 1965 en Los Ángeles actúa en pequeños clubs de jazz y, al mismo tiempo grabó su primer álbum 1965, para el Bainbridge.

Pero nadie se fija en él y tendrán que pasar diez años para grabar un segundo disco.

En 1984 todavía sale un disco muy exitoso, High Crime, el último producto de Graydon, seguido en 1985 por el directo Live in London grabado en el Wembley Arena y L Is for Lover producido por Nile Rodgers (guitarrista de Chic), que se acerca al sonido de la música disco.

También en ese año alcanza un gran éxito con su tema Mornin´, del cual se hizo muy popular el video y la reedición de 2006 junto a George Benson.

En 1994 llama a Marcus Miller para producir el álbum Tenderness, en el que actuaron entre otros, Steve Gadd, David Sanborn, Joe Sample y Kathleen Battle; el disco incluye estándars como Your Song de Elton John, Más que nada de Jorge Ben y She's Leaving Home de los Beatles.

Más tarde se casó con la actriz Susan Player en 1987, con la que tuvo un hijo, Ryan.

[6]​ En junio de 2012, se le diagnosticó neumonía, por lo cual tuvo que cancelar varios conciertos en Francia.

La familia realizó un servicio religioso para los más allegados al cantante, y no organizó ningún homenaje público tras su muerte.