Al mismo tiempo que grababa Horses, Patti Smith y su banda eran muy reconocidos en la escena musical de Nueva York junto a bandas como Blondie y The Ramones.
La música del tema "Birdland", en particular, estaba más influida por el jazz que por el punk.
Mientras se grababa esta canción, que fue improvisada por la banda en los estudios de grabación Electric Lady Studios, Smith dijo que imaginaba el espíritu de Hendrix observándoles.
La fotografía de la portada del álbum fue hecha por Robert Mapplethorpe con luz natural.
La compañía discográfica quiso hacer varios retoques, incluyendo quitar la pelusa del bigote de Smith, a lo que ella misma se negó.