El equipo juega en la Allsvenskan y ha pasado la mayor parte de su historia en la máxima categoría del fútbol sueco.
Su fundador, el atleta Carl Larson, creó el equipo ya que el principal club deportivo de la ciudad, el Borås Athletic, no incluía el fútbol en su programa.
Los colores tomados del regimiento de Älvsborgs por el Elfsborg no solo representan la ciudad, sino a toda una región.
En 1926 el Elfsborg ganó la Västsvenska Serien y derrotó al Halmstad BK en el play-off, por lo que ascendió a la Allsvenskan por primera vez en su historia.
El equipo que logró el ascenso contenía varios futuros futbolistas internacionales suecos, como Anders Svensson y Tobias Linderoth.
Los objetivos se marcaron en acabar entre los cuatro primeros clasificados y asegurar, así, la calificación para disputar competiciones europeas cada año.
En 2012, el Elfsborg se hizo con su sexta Allsvenskan, en un ajustado final de temporada superando al BK Häcken, Malmö FF y AIK.
El equipo sueco quedó encuadrado en el grupo C junto al Standard Liège, el Red Bull Salzburg y el Esbjerg, pero no consiguió buenos resultados.