La pornografía deepfake , o simplemente pornografía falsa , es un tipo de pornografía sintética que se crea alterando fotografías o vídeos ya existentes aplicando tecnología deepfake a las imágenes de los participantes. El uso de pornografía deepfake ha provocado controversia porque implica la realización y el intercambio de vídeos realistas en los que aparecen personas sin consentimiento, normalmente celebridades femeninas, y a veces se utiliza para la pornografía de venganza . Se están realizando esfuerzos para combatir estas preocupaciones éticas mediante la legislación y soluciones basadas en la tecnología.
El término "deepfake" se acuñó en 2017 en un foro de Reddit en el que los usuarios compartían vídeos pornográficos alterados creados mediante algoritmos de aprendizaje automático. Es una combinación de la palabra "deep learning", que se refiere al programa utilizado para crear los vídeos, y "fake", que significa que los vídeos no son reales. [1]
El porno deepfake se creó originalmente a pequeña escala individual utilizando una combinación de algoritmos de aprendizaje automático , técnicas de visión artificial y software de inteligencia artificial . El proceso comenzó reuniendo una gran cantidad de material fuente (incluidas imágenes y videos) del rostro de una persona y luego utilizando un modelo de aprendizaje profundo para entrenar una red generativa antagónica para crear un video falso que intercambia de manera convincente el rostro del material fuente con el cuerpo de un actor porno. Sin embargo, el proceso de producción ha evolucionado significativamente desde 2018, con la llegada de varias aplicaciones públicas que han automatizado en gran medida el proceso. [2]
La pornografía deepfake a veces se confunde con la fotografía falsa de desnudos , pero en general son dos cosas diferentes. La fotografía falsa de desnudos suele utilizar imágenes no sexuales y simplemente hace que parezca que las personas que aparecen en ellas están desnudas.
La tecnología deepfake se ha utilizado para crear imágenes y vídeos pornográficos y no consensuales de mujeres famosas. Uno de los primeros ejemplos ocurrió en 2017, cuando un usuario de Reddit creó un vídeo pornográfico deepfake de Gal Gadot y se difundió rápidamente en Internet. Desde entonces, ha habido numerosos casos de contenido deepfake similar dirigido a otras celebridades femeninas, como Emma Watson , Natalie Portman y Scarlett Johansson . [3] Johansson habló públicamente sobre el tema en diciembre de 2018, condenando la práctica pero también negándose a emprender acciones legales porque considera que el acoso es inevitable. [4]
En 2018, Rana Ayyub , periodista de investigación india, fue objeto de una campaña de odio en línea a raíz de su condena al gobierno indio, en particular por su denuncia de la violación de una niña de ocho años de Cachemira. Ayyub fue bombardeada con amenazas de violación y muerte, y se distribuyó en línea un video pornográfico manipulado de ella. [5] En un artículo del Huffington Post , Ayyub habló sobre los efectos psicológicos y sociales duraderos que esta experiencia ha tenido en ella. Explicó que seguía luchando con su salud mental y que las imágenes y los videos seguían resurgiendo cada vez que aceptaba un caso de alto perfil. [6]
En 2023, el streamer de Twitch Atrioc generó controversia cuando reveló accidentalmente material pornográfico deepfake en el que aparecían streamers femeninas de Twitch mientras estaba en vivo. Desde entonces, el influencer admitió haber pagado por pornografía generada por IA y se disculpó con las mujeres y sus fans. [7] [8]
En enero de 2024, imágenes sexualmente explícitas generadas por IA de la cantante estadounidense Taylor Swift se publicaron en X (anteriormente Twitter) y se difundieron a otras plataformas como Facebook , Reddit e Instagram . [9] [10] [11] Un tuit con las imágenes fue visto más de 45 millones de veces antes de ser eliminado. [12] [10] Un informe de 404 Media descubrió que las imágenes parecían haberse originado en un grupo de Telegram , cuyos miembros usaban herramientas como Microsoft Designer para generar las imágenes, usando errores ortográficos y hacks de palabras clave para sortear los filtros de contenido de Designer. [13] [14] Después de que se publicó el material, los fans de Swift publicaron imágenes y metraje de conciertos para enterrar las imágenes deepfake y denunciaron las cuentas que publicaban las deepfakes. [15] Las búsquedas del nombre de Swift se deshabilitaron temporalmente en X , devolviendo en su lugar un mensaje de error. [16] Graphika , una empresa de investigación de desinformación, rastreó la creación de las imágenes hasta una comunidad de 4chan . [17] [18]
Una fuente cercana a Swift le dijo al Daily Mail que estaría considerando tomar acciones legales y dijo: "Se está decidiendo si se tomarán o no acciones legales, pero hay una cosa que está clara: estas imágenes falsas generadas por IA son abusivas, ofensivas, explotadoras y se hicieron sin el consentimiento y/o conocimiento de Taylor". [15] [19]
La controversia provocó la condena de la secretaria de prensa de la Casa Blanca, Karine Jean-Pierre , [20] el director ejecutivo de Microsoft, Satya Nadella , [21] la Red Nacional de Violación, Abuso e Incesto , [22] y SAG-AFTRA . [23] Varios políticos estadounidenses pidieron una legislación federal contra la pornografía deepfake. [24] Más tarde en el mes, los senadores estadounidenses Dick Durbin , Lindsey Graham , Amy Klobuchar y Josh Hawley presentaron un proyecto de ley bipartidista que permitiría a las víctimas demandar a las personas que produjeron o poseyeron "falsificaciones digitales" con la intención de distribuirlas, o aquellos que recibieron el material sabiendo que se hizo sin consentimiento. [25]
En agosto de 2024, se supo en Corea del Sur que muchos profesores y estudiantes eran víctimas de imágenes deepfake creadas por usuarios que utilizaban tecnología de IA. La periodista Ko Narin de Hankyoreh descubrió las imágenes deepfake a través de los chats de Telegram. [26] [27] [28] En Telegram, se crearon chats grupales específicamente para el abuso sexual basado en imágenes de mujeres, incluidas estudiantes de secundaria y preparatoria, maestros e incluso miembros de la familia. Las mujeres con fotos en plataformas de redes sociales como KakaoTalk , Instagram y Facebook también suelen ser el objetivo. Los perpetradores usan bots de IA para generar imágenes falsas, que luego se venden o se comparten ampliamente, junto con las cuentas de redes sociales de las víctimas, los números de teléfono y los nombres de usuario de KakaoTalk. Según se informa, un grupo de Telegram atrajo a unos 220.000 miembros, según un informe de Guardian.
Las investigaciones revelaron numerosos grupos de chat en Telegram donde los usuarios, principalmente adolescentes, crean y comparten imágenes deepfake explícitas de compañeros de clase y profesores. El problema surgió a raíz de una preocupante historia de delitos sexuales digitales, en particular el notorio caso Nth Room en 2019. El Sindicato de Maestros de Corea estimó que más de 200 escuelas se habían visto afectadas por estos incidentes. Los activistas pidieron una declaración de "emergencia nacional" para abordar el problema. [29] La policía de Corea del Sur informó de más de 800 casos de delitos sexuales deepfake a finales de septiembre de 2024, un marcado aumento respecto de los 156 casos de 2021, y la mayoría de las víctimas y los agresores eran adolescentes. [30]
El 21 de septiembre, 6.000 personas se reunieron en el parque Marronnier, en el noreste de Seúl, para exigir medidas legales más contundentes contra los delitos de deepfake dirigidos contra las mujeres. [31] El 26 de septiembre, tras la indignación generalizada por el escándalo de Telegram, los legisladores surcoreanos aprobaron un proyecto de ley que penaliza la posesión o visualización de imágenes y vídeos de deepfake sexualmente explícitos, imponiendo sanciones que incluyen penas de prisión y multas. Según la nueva ley, quienes sean sorprendidos comprando, guardando o viendo ese material podrían enfrentarse a hasta tres años de prisión o multas de hasta 30 millones de wones (22.600 dólares). En el momento en que se propuso el proyecto de ley, la creación de deepfakes sexualmente explícitos para su distribución conllevaba una pena máxima de cinco años, pero la nueva legislación la aumentaría a siete años, independientemente de la intención. [30]
La tecnología deepfake ha hecho que la creación de material de abuso sexual infantil (CSAM), también conocido como pornografía infantil, sea más rápida, segura y fácil que nunca. Los deepfakes se pueden utilizar para producir nuevo CSAM a partir de material ya existente o para crear CSAM a partir de niños que no han sido sometidos a abuso sexual. Sin embargo, el CSAM deepfake puede tener implicaciones reales y directas para los niños, como la difamación, el acoso, la extorsión y el acoso. [32]
La mayor parte del porno deepfake se hace con rostros de personas que no dieron su consentimiento para que su imagen se usara de manera tan sexual. En 2023, Sensity, una empresa de verificación de identidad, descubrió que "el 96% de los deepfakes son sexualmente explícitos y presentan a mujeres que no dieron su consentimiento para la creación del contenido". [33] A menudo, el porno deepfake se usa para humillar y acosar principalmente a mujeres de formas similares al porno de venganza .
La detección de deepfakes se ha convertido en un área de investigación cada vez más importante en los últimos años a medida que la propagación de videos e imágenes falsos se ha vuelto más frecuente. Un enfoque prometedor para detectar deepfakes es mediante el uso de redes neuronales convolucionales (CNN), que han demostrado una alta precisión para distinguir entre imágenes reales y falsas. Un algoritmo basado en CNN que se ha desarrollado específicamente para la detección de deepfakes es DeepRhythm, que ha demostrado una puntuación de precisión impresionante de 0,98 ( es decir, un éxito en la detección de imágenes deepfake el 98% del tiempo). Este algoritmo utiliza una CNN preentrenada para extraer características de las regiones faciales de interés y luego aplica un nuevo mecanismo de atención para identificar discrepancias entre las imágenes originales y manipuladas. Si bien el desarrollo de tecnología deepfake más sofisticada presenta desafíos continuos para los esfuerzos de detección, la alta precisión de algoritmos como DeepRhythm ofrece una herramienta prometedora para identificar y mitigar la propagación de deepfakes dañinos. [1]
Además de los modelos de detección, también hay herramientas de autenticación de vídeo disponibles para el público. En 2019, Deepware lanzó la primera herramienta de detección disponible públicamente que permitía a los usuarios escanear y detectar fácilmente vídeos deepfake. De manera similar, en 2020 Microsoft lanzó un autenticador de vídeo gratuito y fácil de usar. Los usuarios cargan un vídeo sospechoso o introducen un enlace y reciben una puntuación de confianza para evaluar el nivel de manipulación de un deepfake.
A partir de 2023, no existe una legislación que aborde específicamente la pornografía deepfake. En cambio, los tribunales están abordando el daño causado por su creación y distribución a través de las leyes civiles y penales existentes.[1]
Las víctimas de pornografía deepfake a menudo presentan demandas por venganza , agravios y acoso. [34] Las consecuencias legales de la pornografía vengativa varían de un estado a otro y de un país a otro. [35] [36] Por ejemplo, en Canadá, la pena por publicar imágenes íntimas no consensuadas es de hasta 5 años de prisión, [37] mientras que en Malta es una multa de hasta 5.000 €. [38]
La "Ley de Responsabilidad por las Falsificaciones Profundas" se presentó al Congreso de los Estados Unidos en 2019, pero se suspendió en 2020. [39] Su objetivo era convertir en delito penal la producción y distribución de medios visuales alterados digitalmente que no se revelaran como tales. El título especifica que realizar cualquier medio sexual alterado no consensual con la intención de humillar o dañar de otro modo a los participantes puede ser multado, encarcelado por hasta 5 años o ambas cosas. [36] En 2021 se presentó una versión más nueva del proyecto de ley que habría requerido que cualquier "registro de suplantación de identidad tecnológica avanzada" contuviera una marca de agua y una divulgación audiovisual para identificar y explicar cualquier elemento de audio y visual alterado. El proyecto de ley también incluye que la falta de divulgación de esta información con la intención de acosar o humillar a una persona con un "registro de suplantación de identidad tecnológica avanzada" que contenga contenido sexual "será multado en virtud de este título, encarcelado por no más de 5 años, o ambas cosas". Sin embargo, este proyecto de ley ya no se aplica en 2023. [40]
En el Reino Unido, la Comisión de Derecho de Inglaterra y Gales recomendó una reforma para penalizar el intercambio de pornografía deepfake en 2022. [41] En 2023, el gobierno anunció modificaciones al Proyecto de Ley de Seguridad en Línea con ese fin. La Ley de Seguridad en Línea de 2023 modifica la Ley de Delitos Sexuales de 2003 para penalizar el intercambio de imágenes íntimas que muestren o "parezcan mostrar" a otra persona (incluidas las imágenes deepfake) sin consentimiento. [42] En 2024, el Gobierno anunció que se incluiría un delito que penalizara la producción de imágenes pornográficas deepfake en el Proyecto de Ley de Justicia Penal de 2024. [43] [44] El proyecto de ley no se aprobó antes de que el Parlamento se disolviera antes de las elecciones generales .
Si bien el panorama legal aún no está desarrollado, las víctimas de pornografía deepfake tienen varias herramientas disponibles para contener y eliminar contenido, incluida la eliminación mediante una orden judicial, herramientas de propiedad intelectual como la eliminación de DMCA, la denuncia de violaciones de los términos y condiciones de la plataforma de alojamiento y la eliminación mediante el informe del contenido a los motores de búsqueda. [45]
Varias plataformas en línea importantes han tomado medidas para prohibir la pornografía deepfake. A partir de 2018, gfycat , reddit , Twitter , Discord y Pornhub han prohibido la carga y el intercambio de contenido pornográfico deepfake en sus plataformas. [46] [47] En septiembre de ese mismo año, Google también agregó "imágenes pornográficas sintéticas involuntarias" a su lista de prohibiciones, lo que permite a las personas solicitar la eliminación de dicho contenido de los resultados de búsqueda. [48]