[1]​ Horvitz, un "retador del mestizaje de géneros",[2]​ ha liderado diversos grupos, como The President, Pigpen, Zony Mash, y The Four Plus One Ensemble.

Ha tocado, y realizado grabaciones, con músicos como John Zorn, Bill Frisell, Elliott Sharp, Danny Barnes, Tucker Martine, Butch Morris, Fred Frith, Julian Priester, Philip Wilson, Michael Shrieve, Carla Bley, Timothy Young, Bobby Previte, Skerik, Douglas September y otros.

Alcanzó especialmente notoriedad como teclista de la banda Naked City, y ha sido productor de diversos álbumes de World Saxophone Quartet, Human Feel, Marty Ehrlich, Fontella Bass, The Living Daylights, Bill Frisell y Eddie Palmieri.

Su composición de 2003, "Whispers, Hymns and a Murmur for String Quartet and soloist", financiada por la beca Seattle City Artist, se había estrenado en marzo de 2004.

Esta composición y sus primeros cuartetos de cuerda, "Mountain Language", fueron editados por el selloTzadik.