Hace más de tres mil años que en esa zona se establecieron diversos pueblos. Los antiguos reinos se mantenían con el comercio de resinas aromáticas, como la mirra y el incienso, a egipcios, griegos y romanos. A lo largo de las rutas comerciales varios estados florecieron y sucesivamente entraron en decadencia; el más poderoso fue Saba, que perduró unos catorce siglos desde el año 1000 a.C., y basó su enorme riqueza agrícola en el famoso dique de Ma’rib. Cuando en el siglo I d.C., griegos y romanos descubrieron que desde este territorio se podía llegar a India por mar, los puertos yemeníes se enriquecieron, eclipsando las poblaciones que habían crecido al amparo de las rutas comerciales terrestres. En el año 395, el emperador romano Teodosio implantó el cristianismo como nueva religión de estado, finalizando así la demanda de incienso, y llevó al reino de Saba a un declive irreversible. En 575, los persas conquistaron estas tierras y se convirtieron en señores absolutos de la zona.
En el año 628, el gobernador persa, o sátrapa, de Yemen se adhirió al islamismo, seguido del resto de la población; hacia mediados de siglo, los yemeníes habían erigido dos o tres mezquitas. Cuando el centro del poder islámico se trasladó de la península de Arabia al golfo Pérsico, Yemen conservó su autonomía política y religiosa, al tiempo que el país se dividía en pequeñas dinastías locales. La zaydí fundó en el año 897 un estado islámico estricto en el norte de Yemen y sobrevivió hasta la revolución de 1962. Los katiríes, que tomaron el poder en el Sur durante el siglo XV, permanecieron en él hasta 1967.
Las potencias coloniales europeas aparecieron por la península en 1513, cuando Portugal posó la mirada en Adén. Los mamelucos de Egipto y los turcos otomanos equipararon sus ambiciones y, después de una contienda que duró cuatro años, Yemen cayó en poder otomano. En 1635, los zaidíes expulsaron a los turcos, pero en 1839 los británicos ocuparon Adén y lo convirtieron en protectorado, extendiendo posteriormente su dominio hacia el Sur. Los otomanos regresaron en 1849, y conquistaron el noroeste de la nación. Los jeques locales se negaron a doblegarse ante la autoridad extranjera, y después de varias décadas de insurrección, los turcos, cuyo imperio se desintegró después de la I Guerra Mundial, dejaron el país en manos de un nuevo rey, el imán Yahya (aunque los británicos mantuvieron su protectorado).
Si bien el imán zaydí obtuvo el control de la zona de Tihana, las tribus septentrionales de Yemen estaban decididas a colocar a su propio líder en el poder, y se aliaron con el recién formado estado de Arabia Saudí. La guerra entre las tropas saudíes y las yemeníes, en 1934, se resolvió con el establecimiento del poder saudí en la región yemení de Asir. Durante las tres décadas siguientes, Yemen se mantuvo aislada y subdesarrollada. En los años sesenta, el país carecía de carreteras asfaltadas, contaba con escasos doctores y registraba unos niveles de analfabetismo muy elevados.
En la década de 1950, Yemen, involucrado en numerosos conflictos fronterizos con el protectorado británico de Adén, solicitó ayuda a El Cairo. El país pasó a integrar la Repáblica Árabe Unida, junto a Egipto y Siria. En 1962, cuando falleció el imán, un grupo de oficiales del ejército perpetró un golpe de estado e instauró la Repáblica Árabe del Yemen (también conocida como Yemen del Norte). Las fuerzas leales al hijo del imán huyeron hacia las montañas del Norte, donde encontraron la ayuda de Gran Bretaña y Arabia Saudí, y declararon la guerra a los republicanos, apoyados por Egipto y la Unión Soviética. En 1967, los egipcios abandonaron el territorio, pero los monárquicos se vieron incapaces de derrotar a los republicanos. En 1970, el imán desposeído se exilió a Gran Bretaña y la Repáblica Árabe del Yemen fue reconocida por Arabia Saudí.
Los problemas de la zona norte tentaron lo suficiente a diversos yemeníes del Sur para iniciar su propia revolución. El Frente Nacional de Liberación (FNL) -un grupo guerrillero nacionalista y marxista- desencandenó un conflicto contra Gran Bretaña en 1963. En 1967, los británicos abandonaron Adén y se fundó la Repáblica Popular del Yemen (o Yemen del Sur). Sin los ingresos procedentes de la ayuda británica, y con la reciente clausura del canal de Suez, la nueva repáblica se vio sumida en una profunda crisis. Con el fin de obtener apoyo por parte de los países comunistas, el gobierno nacionalizó gran parte de la economía y se declaró marxista; en 1969 pasó a denominarse Repáblica Democrática Popular del Yemen.
A lo largo de la década de 1970, ambos Yemen protagonizaron incesantes altercados fronterizos, al tiempo que se vivía una gran inestabilidad interna. En 1978, el teniente coronel Ali Abdullah Saleh se convirtió en presidente de Yemen del Norte, e introdujo un período de estabilidad no democrática que se mantuvo hasta la década de 1980; por su parte, en Yemen del Sur la situación fue empeorando hasta desembocar en una guerra civil en 1986. Cuando la Unión Soviética quedó colapsada a finales de la década de 1980, la Repáblica Democrática Popular del Yemen perdió su principal fuente de ingresos y abandonó la lucha. Finalmente, optó por unirse a la Repáblica Árabe del Yemen.
El 22 de mayo de 1990 se proclamó la Repáblica Unificada del Yemen; al año siguiente, el pueblo yemení ratificaba una constitución que garantizaba elecciones libres, un sistema multipartidista y el reconocimiento de los derechos humanos. Pero los problemas no finalizaron, y las luchas de poder entre ambas facciones condujeron a una guerra civil en 1994. Aunque, una vez más, los dirigentes de las tierras meridionales decidieron fundar un estado propio, la zona septentrional era demasiado poderosa, y el país quedó reunificado eventualmente bajo el liderazgo del presidente Saleh.
La reconciliación entre Norte y Sur se está ejecutando con lentitud. El secuestro, ampliamente generalizado, de cuatro turistas que aparecieron muertos en 1998 fue aparentemente organizado desde el exterior (varios de los acusados eran de nacionalidad británica y argelina), pero la guerrilla intentó reivindicar esta y otras acciones. A mediados de 1999, se produjeron altercados a consecuencia de un mandato del Fondo Monetario Internacional que decretaba un incremento en los precios de los artículos de primera necesidad. Las disputas fronterizas con Arabia Saudí y Eritrea tampoco han contribuido a mejorar la situación. En cualquier caso, existe una mayor seguridad, y el gobierno se ha propuesto garantizar la protección de los turistas. La nación más pobre de la península redujo drásticamente a la mitad su deuda internacional a finales de 1999, una proeza impresionante dado el descenso de los precios del petróleo. La democracia permanece más bien como una teoría, y todavía deben negociarse sus parámetros.