Junto a su futuro compañero en Jefferson Airplane, Jack Casady, formó su primera banda en Washington llamada The Triumphs.Kaukonen, como guitarrista de blues, nunca pensó en tocar en una banda de rock, sin embargo le atrajeron los múltiples efectos sonoros que le ofrecía la guitarra eléctrica y no dudó en unirse al grupo.En su época en Jefferson Airplane, no fue demasiado prolífico en cuanto a composición, sin embargo dejó algunas piezas memorables como el tema acústico Embryonic Jorney, que aparece en Surrealistic Pillow, el segundo álbum de la banda, en el que se hace patente su virtuosismo en el dominio del fingerpicking.[3] En el siguiente álbum, After Bathing at Baxter's, el sonido de Kaukonen se vuelve más duro, inspirado, entre otros por el guitarrista Mike Bloomfield.En 1971, la banda publica el álbum Bark donde Kaukonen aparece acreditado en tres temas; la instrumental Wild Turkey, Feel So Good y la autobiográfica Third Week in the Chelsea en la que expresa sus sentimientos sobre la desintegración de la banda.La canción de apertura "Genesis" aparece en las películas Margot at the Wedding (2007) y Transcendence (2014).[4] La obra que aparece en la portada del álbum se exhibe en Donkey Coffee and Espresso, una cafetería en Athens (Ohio).En 1985, Kaukonen actuó con la banda There Goes the Neighborhood junto al bajista Jaco Pastorius.Martin's Press publicó la autobiografía de Kaukonen, Been So Long: My Life and Music.
