Su federación de fútbol fue fundada en 1962, y está afiliada a la FIFA desde 1980.
Cuando Yemen se encontraba dividido en dos (Yemen del Norte y Yemen del Sur), cada región tenía su seleccionado de fútbol, al igual que Alemania cuando estaba dividida en Alemania Federal y Alemania Democrática.
Todavía está lejos de igualar a selecciones como Emiratos Árabes Unidos, Arabia Saudita, Irak, Irán o Catar, pero es un equipo que poco a poco se está empezando a sentir en los torneos asiáticos, ya que a pesar de ser uno de los países más conocido de Medio Oriente, también es uno de los países más pobres del Mundo Árabe, lo cual se refleja en sus representaciones deportivas.
En las Eliminatorias rumbo al Mundial 2018 lograron sorprender a Pakistán al vencerlos por 3:1 en la ida y empatar a cero en la vuelta.
Desafortunadamente para Yemen en la segunda ronda no le fue para nada bien ganando un solo partido ante las Filipinas que no le sirvió para evitar quedar colista del grupo, para la Copa Asiática se vio obligada a jugar la ronda de repechaje, donde se enfrentó a las Maldivas ganando 2-0 ambos partidos lo que dejó a mencionada selección casi eliminada de la copa, también ha logrado sorpresas en amistosos empatando ante Finlandia además de una reciente victoria por 0-3 ante Guam en condición de visitante.