Después de dejar su primera agrupación, "The Young and the Useless", Horovitz se unió a Michael "Mike D" Diamond y Adam "MCA" Yauch para formar los Beastie Boys, teloneando a Madonna en su famosa gira Like a Virgin.
está basada en las vivencias de la familia Horovitz.
Salió con las actrices Molly Ringwald (1986-1988) e Ione Skye, con quien estuvo casado entre 1992 y 1995.
Desde 2006 está casado con la músico y activista feminista Kathleen Hanna.
Además de su faceta como músico, tuvo breve apariciones como actor, participando en las siguientes películas: Lost Angels (1989), A Kiss Before Dying (1991), Roadside Prophets (1992) y While We're Young (2014).