El software de detección de inteligencia artificial tiene como objetivo determinar si algún contenido (texto, imagen, vídeo o audio) se generó mediante inteligencia artificial (IA).
Sin embargo, la confiabilidad de dicho software es un tema de debate [1] y existen preocupaciones sobre la posible aplicación incorrecta del software de detección de IA por parte de los educadores.
Se ha demostrado que varias herramientas de detección de IA no son fiables en términos de detección precisa y exhaustiva del texto generado por IA. En un estudio realizado por Weber-Wulff et al., y publicado en 2023, los investigadores evaluaron 14 herramientas de detección, incluidas Turnitin y GPT Zero , y descubrieron que "todas obtuvieron una puntuación inferior al 80 % de precisión y solo 5 superaron el 70 %". [2]
En el caso de los textos, esto se suele hacer para evitar un supuesto plagio , a menudo detectando la repetición de palabras como signos reveladores de que un texto fue generado por IA (incluidas las alucinaciones de IA ). A menudo, los profesores los utilizan para calificar a sus alumnos, normalmente de forma ad hoc . Tras el lanzamiento de ChatGPT y un software de generación de texto con IA similar, muchos establecimientos educativos han emitido políticas contra el uso de IA por parte de los estudiantes. [3] El software de detección de texto con IA también lo utilizan quienes evalúan a los solicitantes de empleo, así como los motores de búsqueda en línea . [4]
Los detectores actuales a veces pueden ser poco fiables y han marcado incorrectamente el trabajo de humanos como originado por IA [5] [6] [7] mientras que no han podido detectar el trabajo generado por IA en otros casos. [8] MIT Technology Review dijo que la tecnología "tuvo dificultades para detectar el texto generado por ChatGPT que había sido ligeramente reorganizado por humanos y ofuscado por una herramienta de paráfrasis". [9] También se ha demostrado que el software de detección de texto de IA discrimina a los hablantes no nativos de inglés. [4]
Dos estudiantes de la Universidad de California, Davis , casi se enfrentaron a la expulsión después de que sus profesores escanearan sus ensayos con una herramienta de detección de texto llamada Turnitin , que marcó los ensayos como generados por IA. Sin embargo, tras la cobertura de los medios de comunicación [10] y una investigación exhaustiva, los estudiantes fueron absueltos de cualquier irregularidad. [11] [12]
En abril de 2023, la Universidad de Cambridge y otros miembros del Grupo Russell de universidades del Reino Unido decidieron abandonar la herramienta de detección de texto con inteligencia artificial de Turnitin, tras expresar su preocupación por su falta de fiabilidad. [13] La Universidad de Texas en Austin decidió abandonar el sistema seis meses después. [14]
En mayo de 2023, un profesor de la Universidad Texas A&M–Commerce utilizó ChatGPT para detectar si el contenido de sus estudiantes había sido escrito con este software, lo que según ChatGPT era el caso. Por ello, amenazó con suspender la asignatura a pesar de que ChatGPT no podía detectar la escritura generada por IA. [15] Ningún estudiante se vio impedido de graduarse debido a este problema, y todos los estudiantes, excepto uno (que admitió haber utilizado el software), fueron exonerados de las acusaciones de haber utilizado ChatGPT en su contenido. [16]
En mayo de 2024, los estudiantes de la Universidad de Pensilvania publicaron RAID, un punto de referencia para evaluar los detectores de texto de IA. [17] RAID incluye más de 6 millones de generaciones en 11 modelos y 11 ataques adversarios, lo que revela que los detectores actuales tienen dificultades con las estrategias adversarias y los modelos invisibles. Según la tabla de clasificación del punto de referencia RAID, Desklib AI Detector, con una puntuación de precisión del 92,4 %, ocupa el primer puesto.
Un artículo de Thomas Germain, publicado en Gizmodo en junio de 2024, informó sobre pérdidas de empleo entre escritores y periodistas independientes debido a que el software de detección de texto con IA clasificó erróneamente su trabajo como generado por IA. [18]
Hay software disponible diseñado para evitar la detección de texto por IA. [19]
Un estudio publicado en agosto de 2023 analizó 20 resúmenes de artículos publicados en el Eye Journal , que luego fueron parafraseados utilizando GPT-4.0 . Los resúmenes parafraseados por IA se examinaron en busca de plagio utilizando QueText y en busca de contenido generado por IA utilizando Originality.AI. Luego, los textos se reprocesaron a través de un software adversarial llamado Undetectable.ai para reducir los puntajes de detección de IA. El estudio descubrió que la herramienta de detección de IA, Originality.AI, identificó el texto generado por GPT-4 con una precisión media del 91,3%. Sin embargo, después del reprocesamiento por Undetectable.ai, la precisión de detección de Originality.ai se redujo a una precisión media del 27,8%. [20] [21]
Algunos expertos también creen que técnicas como la marca de agua digital son ineficaces porque pueden eliminarse o añadirse para generar falsos positivos. [22]
Una de las deficiencias de la mayoría de los programas de detección de contenido con IA es su incapacidad para identificar texto generado por IA en cualquier idioma. Los modelos de lenguaje grandes (LLM) como ChatGPT, Claude y Gemini pueden escribir en diferentes idiomas, pero las herramientas de detección de texto con IA tradicionales se han entrenado principalmente en inglés y algunos otros idiomas ampliamente hablados, como el francés y el español. Son menos las soluciones de detección con IA que pueden detectar texto generado por IA en idiomas como el farsi, el árabe o el hindi. [ cita requerida ]
Existen varios programas de detección de imágenes con inteligencia artificial que se supone que detectan imágenes generadas por IA (por ejemplo, las que se originan en Midjourney o DALL-E ), pero no son completamente confiables. [23] [24]
Otros afirman identificar deepfakes de vídeo y audio , pero esta tecnología tampoco es totalmente confiable todavía. [25]
A pesar del debate sobre la eficacia de las marcas de agua, Google DeepMind está desarrollando activamente un software de detección llamado SynthID, que funciona insertando una marca de agua digital que es invisible para el ojo humano en los píxeles de una imagen. [26] [27]