«High Horse» alcanzó el número 36 en la lista Billboard Hot Country Songs de Estados Unidos y también se convirtió en la primera canción de Kacey en pasar a la radio pop, debutando y alcanzando el número 39 en la lista Adult Pop Songs.
«High Horse» es una canción disco que incorpora elementos de country instrumentación y voces multipistas.
[3] Los Bee Gees y Daft Punk se citan como influencias en el estilo de «High Horse».
[3] Líricamente, la canción utiliza juego de palabras y doble sentido para comparar a un individuo engreído con un caballo preciado, al que Kacey anima a «giddy-up» y «ride straight out of this town».
[1] El estilo y los temas del video se han comparado con la popular película de 1980, Cómo eliminar a su jefe.