Del matrimonio nacieron nueve hijos, de los cuales sólo le sobrevivieron cinco.

Con ese grado y destino participó en el sitio de Gibraltar (1779-1783).

Destacó especialmente en la conquista del puerto y fuerte de Fornells, lo que le valió el ascenso a brigadier.

La familia se estableció en Mataró, donde vivió dos años y tuvieron una niña.

Comenzó su participación bajo las órdenes del general Antonio Ricardos en la frontera con el Rosellón.

Sin embargo, parece que su mala relación con el secretario de Estado, Manuel Godoy, influyó en no obtener el ascenso a Capitán General, algo extraño para un hombre de su estatus.

La historiografía actual ha entendido mejor que la derrota se debió más a una falta de coordinación entre los generales españoles.

Durante esta campaña tuvo que combatir constantemente a la defensiva ante la superioridad francesa.

Este hecho no hizo sino complicar aún más sus relaciones con Godoy.

Las malas relaciones entre Osuna y el gobierno Godoy provocaron que este le alejara de la Corte nombrándole, a finales del año 1798, embajador español ante el Sacro Imperio en Viena, para sustituir al conde del Campo de Alange, Manuel Negrete de la Torre.

Su viuda dirigió la casa ducal hasta 1834, heredando el título su hijo mayor, Francisco de Borja Téllez-Girón y Pimentel (1785-1820).

Con los libros que adquieren allí conforman la biblioteca más completa existente en España en ese momento.

La instalaron en su palacio de la calle Leganitos y decidieron abrirla al público.