El origen del equipo en 2003 se debió a la necesidad de reducir el número de equipos profesionales que había en Gales hasta ese año.
El club fue creado como una alianza entre los 2 clubs más potentes de la región, el Swansea RFC y el Neath RFC, ambos campeones de Gales varias veces, y que todavía hoy son los propietarios del club al 50% cada uno.
Desde su creación, el Ospreys ha sido un equipo exitoso a nivel deportivo, consiguiendo sus mayores triunfos en la United Rugby Championship.
El club ostenta 4 títulos en esta competición, más que ningún otro equipo de Gales, habiéndolos conseguido en las temporadas 2004/05, 2006/07 2009-10 y 2011/12.
En las filas de los Ospreys han destacado nombres propios del rugby como Justin Marshall, Gavin Henson, Ryan Jones, James Hook o Shane Williams, elegido mejor jugador del mundo en 2008.