Sus composiciones fueron numerosas e incluyen, entre otras piezas instrumentales, tres sinfonías para orquesta completa.
Entre sus glees más conocidos figuran "By Celia's Arbour", "O, Nightingale" y "Ahora la tormenta comienza a bajar",[1] así como su melodía para el himno "Hay una colina verde muy lejos".
Renunció a este puesto en 1798 para convertirse en organista del Asilo para mujeres huérfanas, así como en el asistente de John Wall Callcott, con quien había mantenido durante mucho tiempo una estrecha relación personal y artística, y con cuya hija mayor, Elizabeth Hutchins Callcott, se casó.
Su hijo Charles Edward también gozaba de cierta reputación como músico.
La hija mayor de Horsley, Mary Elizabeth (nacida en 1813), se casó con el ingeniero Isambard Kingdom Brunel.