En épocas antiguas estos dos puntos marcaban el límite del mundo conocido, un mito de origen fenicio.[1][2].
Posteriormente, el océano Atlántico se abrió paso a través del estrecho de Gibraltar, y la inundación que produjo dio origen al mar Mediterráneo.
El origen del peñón parece estar debido a un elevamiento tectónico, que podría haber sido continuo desde el Plioceno hasta la actualidad.
Se destaca porque excavaciones arqueológicas realizadas en ella han encontrado evidencia de que neandertales utilizaron la cueva hace unos 30 000 años.
Fue construido en el año 711 cuando Táriq ibn Ziyad, el jefe bereber, desembarcó en el Peñón que lleva aún hoy su nombre.
La principal edificación que ha permanecido en pie hasta nuestros días es la Torre del Homenaje (Tower of Homage), un edificio macizo construido en ladrillos y argamasa muy dura llamada tapia; la parte superior del mismo alojaba las habitaciones y el baño moro para los antiguos ocupantes.
Al estallar la Segunda Guerra Mundial en 1939, la población civil, mayormente mujeres y niños, fue evacuada al Reino Unido, Jamaica y Madeira, entre otros destinos, para permitir que Gibraltar fuera fortificado para poder enfrentar la eventualidad de un ataque alemán.
En febrero de 1997, se supo que los británicos tenían un plan secreto denominado Operación Tracer para esconder soldados en túneles debajo del Peñón en caso de que fuera capturado por los alemanes durante la Segunda Guerra Mundial.
El equipo de seis personas fue enviado a Gibraltar, donde esperaron camuflados durante dos años y medio.
El peñón de Gibraltar es usado por la compañía Prudential Financial como logo empresarial para sugerir que la empresa es prominente y "sólida como una roca".