Yemen sólo ha competido en los Juegos Olímpicos de Verano , enviando atletas a cada edición desde su primera participación en 1992. Antes de la unificación yemení en 1990, los atletas yemenitas habían competido en los Juegos ya en 1984, representando a Yemen del Norte (la República Árabe de Yemen; 1984 y 1988) o Yemen del Sur (República Democrática Popular del Yemen; 1988). Yemen aún no ha ganado ninguna medalla olímpica.
El Comité Olímpico de Yemen se formó en 1971 y fue reconocido por el Comité Olímpico Internacional en 1981.