stringtranslate.com

Charla de Wikipedia: Limpieza de IA de WikiProject

Quería compartir un consejo útil para detectar artículos generados por IA en Wikipedia.

Si buscas varias palabras de moda asociadas con ChatGPT y limitas los resultados a Wikipedia, aparecerán artículos con texto generado por IA. Por ejemplo, busqué "vibrante", "único", "tapiz", "dinámico" en site:en.wikipedia.org y encontré algunos artículos (en su mayoría) de bajo esfuerzo. De hecho, me sorprende que la mayoría de estos sean artículos sobre culturas (ver Cultura de Indonesia , Cultura de Qatar o Cultura de Indonesia ). 95.18.76.205 ( discusión ) 01:54 2 sep 2024 (UTC) [ responder ]

¡Gracias! Eso coincide con Wikipedia:WikiProject AI Cleanup/AI Catchphrases . ¡Siéntete libre de agregar cualquier palabra de moda nueva que encuentres! Chaotic Enby ( discusión · contribuciones ) 02:00, 2 de septiembre de 2024 (UTC) [ responder ]

Una nueva cosa de WMF

Puede que les interese m:Future Audiences/Experiment:Add a Fact. Charlotte ( Reina de corazonesdiscusión ) 21:46, 26 de septiembre de 2024 (UTC) [ responder ]

¿Es posible distinguir específicamente un texto escrito a nivel LLM de un artículo escrito a nivel enciclopédico?

La página de WikiProject dice que "los detectores automáticos de IA como GPTZero no son confiables y no deberían usarse". Sin embargo, esos detectores están llenos de falsos positivos porque el texto escrito por LLM se superpone estilísticamente con el texto escrito por humanos. Pero Wikipedia no busca cubrir toda la amplitud de la escritura humana, solo una rama muy estrecha (la escritura enciclopédica) que está muy lejos de la conservación natural. ¿Es posible entrenar específicamente un modelo en el texto de Wikipedia (de alta calidad) frente al resultado promedio de LLM? Cualquier falso positivo probablemente no sería enciclopédico y necesitaría ser corregido de todos modos. MatriceJacobine ( discusión ) 13:29, 10 de octubre de 2024 (UTC) [ responder ]

Eso definitivamente sería una posibilidad, ya que los dos estilos de salida son lo suficientemente diferentes estilísticamente como para distinguirlos de manera confiable la mayor parte del tiempo. Si podemos hacer un buen corpus de ambos (a partir de la salida de los LLM más comunes sobre temas relacionados con Wikipedia por un lado, y artículos de Wikipedia por el otro), lo que definitivamente debería ser factible, podríamos entrenar un detector de este tipo. ¡Estaré más que feliz de ayudar a trabajar en esto! Chaotic Enby ( discusión · contribs ) 14:50, 10 de octubre de 2024 (UTC) [ responder ]
Eso es completamente posible, aunque sería mejor contar con un corpus de artículos "genuinos" y artículos generados por modelos de lenguaje, ya que el estilo de escritura de, por ejemplo, ChatGPT puede variar según las indicaciones. Alguien debería recopilar/archivar los artículos que se considere que fueron generados por modelos de lenguaje y publicarlos en código abierto para que la comunidad pueda contribuir. 92.105.144.184 (discusión) 15:10 10 oct 2024 (UTC) [ responder ]
Tenemos Wikipedia:WikiProject AI Cleanup/List of uses of ChatGPT at Wikipedia y User:JPxG/LLM dungeon que podría servir como base, aunque todavía es bastante pequeño para un corpus. Una forma de escalarlo sería encontrar el tipo de indicaciones que se utilizan y usar variaciones de ellas para generar más muestras. Chaotic Enby ( discusión · contribs ) 15:24, 10 de octubre de 2024 (UTC) [ responder ]

GPTZero etc

Nunca he usado un detector de IA automático, pero me interesaría saber por qué el consejo es "Los detectores de IA automáticos como GPTZero no son confiables y no deben usarse".

Obviamente, no deberíamos etiquetar o eliminar cualquier artículo que GPTZero señale, pero creo que podría ser útil destacar los artículos que podrían necesitar nuestra atención. Incluso puedo imaginar un sistema como WP:STiki que tenga una lista de ediciones pendientes ordenadas por probabilidad de ser generadas por LLM y luego envíe esas ediciones a editores de confianza para su revisión.

Yaris678 ( discusión ) 14:30 11 oct 2024 (UTC) [ responder ]

De hecho, podría ser útil marcar artículos potenciales, suponiendo que tengamos en cuenta el riesgo de que los editores confíen demasiado en el marcado como indicador definitivo, dado el riesgo tanto de falsos positivos como de falsos negativos. Definitivamente apoyaría la idea de un sistema de acumulación de trabajo de este tipo, pero con las advertencias habituales, en particular, que una tasa relativamente pequeña de falsos positivos puede ser fácilmente suficiente para ahogar a los verdaderos positivos. Lo que significa que se debe enfatizar que el juicio editorial no debe basarse principalmente en la evaluación de GPTZero.
En cuanto a los consejos tal como están redactados actualmente, el problema es que los detectores de IA se quedarán atrás de los últimos LLM y, a menudo, solo serán precisos en los modelos más antiguos en los que se han entrenado. De hecho, su inexactitud se ha señalado en repetidas ocasiones . Chaotic Enby ( discusión · contribuciones ) 14:54, 11 de octubre de 2024 (UTC) [ responder ]
¿Qué opinarías si cambiamos el texto a algo como "Los detectores automáticos de IA como GPTZero no son fiables y deberían utilizarse con precaución. Dada la alta tasa de falsos positivos, no es aceptable eliminar o etiquetar automáticamente el contenido marcado por un detector automático de IA"? Yaris678 ( discusión ) 19:27 15 oct 2024 (UTC) [ responder ]
¡A mí me parecería bien! Como el "automáticamente" puede tener un alcance demasiado restringido, podríamos decir "Dada la alta tasa de falsos positivos, eliminar o etiquetar contenido solo porque fue marcado por un detector automático de IA no es aceptable". Chaotic Enby ( discusión · contribuciones ) 19:46, 15 de octubre de 2024 (UTC) [ responder ]
Yo diría que es un WP:MEATBOT automático , pero no hay daño en ser más claro. jlwoodwa ( discusión ) 16:21, 16 de octubre de 2024 (UTC) [ responder ]
Apoyo esa redacción. Uso GPTZero con frecuencia, después de que ya sospecho que algo está generado por IA. Me ha ayudado a evitar algunos falsos positivos (texto generado por humanos que pensé que era IA), por lo que es bastante útil. Pero nunca confiaría en él ni dependería de él. jlwoodwa ( discusión ) 16:15, 16 de octubre de 2024 (UTC) [ responder ]

He editado la redacción en base a mi sugerencia y la mejora de Chaotic Enby. Yaris678 ( discusión ) 06:54 19 oct 2024 (UTC) [ responder ]

Artículo de prensa 404

https://www.404media.co/email/d516cf7f-3b5f-4bf4-93da-325d9522dd79/?ref=daily-stories-newsletter Seananony ( discusión ) 00:44 12 oct 2024 (UTC) [ responder ]

Pregunta sobre la lista de tareas pendientes

Fui a 3 de los artículos que aparecen en la lista, Petite size , I Ching y Pension , y no pude encontrar ninguna plantilla en los artículos sobre la generación de IA. ¿Está desactualizada la lista? Seananony ( discusión ) 02:21, 12 de octubre de 2024 (UTC) [ responder ]

Seananony : La página de la lista de tareas pendientes no se ha actualizado desde enero. Wikipedia:WikiProject AI Cleanup § Las categorías capturan automáticamente los artículos con la etiqueta {{ AI-generated }} . Chaotic Enby , Queen of Hearts : ¿Alguna objeción a desvincular la lista de tareas pendientes obsoleta? —  ClaudineChionh ( she/her · discusión · contribuciones · correo electrónico ) 07:08, 12 de octubre de 2024 (UTC) [ responder ]
¡A mí me parece bien! Chaotic Enby ( discusión · contribuciones ) 11:14 12 oct 2024 (UTC) [ responder ]

¿Qué hacer con el contenido generado por LLM de calidad aceptable y agregado por nuevos usuarios de buena fe?

Después de abrir el artículo Butene , noté que el formato del título no era correcto. Luego leí el texto y sonaba muy parecido a GPT, pero no contenía errores aparentes. Supongo que lo revisó el editor humano, Datagenius Mahaveer, quien se registró en junio y agregó el texto en julio.

Podría corregir el formato y eliminar la conclusión innecesaria, pero decidí pedir consejo a usuarios más experimentados. Agradecería que incluyeras algún tipo de guía breve para estos casos (que, supongo, son comunes) en algún lugar. Gracias de antemano 5.178.188.143 ( discusión ) 13:57 19 oct 2024 (UTC) [ responder ]

Hola! En ese caso, probablemente sea mejor tratarlo de la misma manera que tratarías con cualquier otro contenido, aunque no necesariamente deberías asumir que ha sido corregido y/o verificado. En este caso, no tenía ninguna fuente, por lo que un editor terminó eliminándolo. Incluso si se hubiera mantenido, GPT tiene una tendencia a escribir descripciones muy vagas, como el polibuteno encuentra su nicho en aplicaciones más especializadas donde sus propiedades únicas justifican el gasto adicional , sin especificar nada. Estas siempre deben reformularse y aclararse o, si no hay fuentes que las respalden, eliminarse. Chaotic Enby ( discusión · contribs ) 15:24 19 oct 2024 (UTC) [ responder ]
Por cierto, ¡estoy muy de acuerdo con la idea de publicar una guía! ¡Muchas gracias! Chaotic Enby ( discusión · contribuciones ) 15:26 19 oct 2024 (UTC) [ responder ]
Ya tengo dos guías en mi lista de tareas pendientes, así que le pasaré esto a otra persona, pero hice un esqueleto de una guía en Wikipedia:WikiProject AI Cleanup/Guide y agregué algunas cosas de la página principal de este proyecto, en un intento de hacer sentir culpable a alguien más (@ Chaotic Enby ?) para que creara una. -- asilvering ( discusión ) 19:08, 19 de octubre de 2024 (UTC) [ responder ]
Genial, ahora me han hecho sentir culpable y no puedo negarme. Lo haré, debería ser divertido, ¡y gracias por configurar el esqueleto! (Estaba pensando en tener también una especie de diagrama de flujo como el de NPP) Chaotic Enby ( discusión · contribuciones ) 19:10 19 oct 2024 (UTC) [ responder ]
¡Oh, esa sería una gran idea! No puedo hacerte sentir culpable por hacer un svg a medio terminar. -- asilvering ( discusión ) 19:19 19 oct 2024 (UTC) [ responder ]
¿Necesitamos una página de guía independiente? Gran parte del contenido que se encuentra actualmente en Wikipedia:WikiProject AI Cleanup/Guide está copiado o parafraseado de Wikipedia:WikiProject AI Cleanup#Editing advice . Creo que tendría sentido no tener una página independiente por ahora (problemas habituales con la bifurcación) y, en su lugar, expandir Wikipedia:WikiProject AI Cleanup#Editing advice . Si esa sección se vuelve demasiado grande para la página principal de este WikiProject, entonces podemos copiarla a Wikipedia:WikiProject AI Cleanup/Guide y dejar un enlace y un resumen en Wikipedia:WikiProject AI Cleanup#Editing advice . Yaris678 ( discusión ) 12:51 23 oct 2024 (UTC) [ responder ]
Por ahora, la "guía" es en su mayor parte solo el esqueleto que armó Asilvering. Aún no he podido escribir la mayor parte de la guía. Chaotic Enby ( discusión · contribuciones ) 13:54, 23 de octubre de 2024 (UTC) [ responder ]
Por supuesto. Pero lo que estoy diciendo es que, en lugar de ampliar ese esqueleto, amplíen Wikipedia:WikiProject AI Cleanup#Editing advice . Yaris678 ( discusión ) 16:55 23 oct 2024 (UTC) [ responder ]
Estos enlaces me resultaron útiles. ¡Gracias!
Sugiero centralizarlos todos en Wikipedia:WikiProject AI Cleanup/Guide y simplemente vincularlos desde la página de WikiProject. Symphony Regalia ( discusión ) 17:33 23 oct 2024 (UTC) [ responder ]
Sería útil ampliar un poco las guías para casos especiales. Symphony Regalia ( discusión ) 17:31 23 oct 2024 (UTC) [ responder ]

Marcar artículos para su examen

Hola, amigos. Estoy tratando de ponerme al día con el estado actual. Revisé un artículo durante el último sprint de NPP, ya que un editor de IP lo había marcado con la etiqueta LLM. No podía decir con certeza si se generó o no, así que estoy atrasado. Busqué asesoramiento y me indicaron esto. De hecho, se generó. Así que estoy buscando cualquier artículo marcado que encuentren, para poder echar un vistazo y aprender el oficio, charlar sobre él, etc., por así decirlo. También me uní al grupo. Gracias. scope_creep Talk 14:01, 24 de octubre de 2024 (UTC) [ responder ]

La era anterior a ChatGPT

Tal vez queramos ser más explícitos en cuanto a que el texto anterior a la publicación de ChatGPT casi con certeza no es producto de un LLM. Por ejemplo, un editor de IP había etiquetado a Hockey Rules Board como potencialmente generado por IA cuando casi todo el mismo texto estaba allí en 2007. (El contenido era basura, ¡pero era basura escrita por humanos!) Tal vez agregar una viñeta en la sección "Consejos de edición" que diga algo como "Es muy poco probable que el texto que estaba presente en un artículo antes de diciembre de 2022 sea generado por IA". Apocheir ( discusión ) 00:57 25 oct 2024 (UTC) [ responder ]

Probablemente sea una buena idea. Estoy seguro de que ya existían antes, pero definitivamente no de forma pública. Symphony Regalia ( discusión ) 01:42 25 oct 2024 (UTC) [ responder ]
Definitivamente es una buena idea, también estoy de acuerdo con esto. Acabo de agregar una versión ligeramente editada a "Consejos de edición", ¡siéntete libre de ajustarla si lo deseas! Chaotic Enby ( discusión · contribuciones ) 01:59, 25 de octubre de 2024 (UTC) [ responder ]
Hasta ahora, no he visto nada que pudiera ser GPT-2 o anterior, pero sí me encontré con algunos artículos que parecen tener muchos de los mismos errores que ChatGPT, excepto que son de una década anteriores.
Si páginas antiguas como esa pueden confundirse con IA porque comete los errores que buscamos en el texto de IA, eso sigue significando que es un hallazgo problemático; tal vez deberíamos recomendar otras etiquetas de limpieza para estos casos. 3df ( discusión ) 22:53, 25 de octubre de 2024 (UTC) [ responder ]
Creo que es muy probable que se trate de un caso de "mala escritura". ¡Los cerebros humanos han producido muy a menudo resultados superficiales análogos! Remsense  ‥ 23:05, 25 de octubre de 2024 (UTC) [ responder ]
Sí, tengo que decir que el resultado de ChatGPT es muy parecido al que escriben muchos estudiantes universitarios de primer o segundo año cuando no están muy seguros de tener alguna idea. Ordena algunas palabras y espera. Añade un "en conclusión" al final que no diga mucho. Gran parte del contenido inicial de Wikipedia fue generado exactamente por este tipo de personas. (Esas personas crecieron y dejaron de hacerlo; los LLM no lo harán). -- asilvering ( discusión ) 00:31, 26 de octubre de 2024 (UTC) [ responder ]

Cuenta de IA

Especial:Contribuciones/Polynesia2024 . Su patrón de contribución es sospechoso. No hay resúmenes de edición coincidentes y el contenido se vuelca con miles de bytes con minutos de diferencia en muchos artículos. Algunos de los contenidos que insertan tienen un 99 % de inteligencia artificial, como los contenidos que insertaron en Ford. ¿Cuál es la política actual sobre los contenidos generados por inteligencia artificial sin divulgación? Tal vez se podría tratar como compartir la cuenta (porque la persona que tiene la cuenta no es la que la escribió) o agregar contenidos que no creaste. Graywalls ( discusión ) 23:53 25 oct 2024 (UTC) [ responder ]

Técnicamente, todavía no existe ninguna política que prohíba divulgar contenido creado por IA, incluso en casos obvios como este. Sin embargo, el usuario que publica el contenido sigue siendo responsable de él, ya sea que esté escrito manualmente o generado por IA, por lo que esto se trataría de la misma manera que una edición disruptiva a toda velocidad, especialmente dada su falta de respuesta. Chaotic Enby ( discusión · contribuciones ) 00:25, 26 de octubre de 2024 (UTC) [ responder ]
También se está discutiendo en Wikipedia_discusión:WikiProject_Spam#Posible_ref_spamming_para_fomentar_académico . Filete de platija ( discusión ) 00:57 26 oct 2024 (UTC) [ responder ]

Ski Aggu está potencialmente repleto de fuentes falsas que no funcionan o fuentes que pueden no respaldar directamente los contenidos. La solicitud de CSD fue rechazada. No voy a perder el tiempo en verificar todo manualmente, sino que lo pondré a disposición de otros voluntarios para que lo revisen. Desafortunadamente, los robots de spam de IA aparentemente pueden producir artículos contaminados y publicarlos en artículos, pero hay más barreras de procedimiento para su eliminación que para su creación. Graywalls ( discusión ) 16:19, 26 de octubre de 2024 (UTC) [ responder ]

Comprobaré el primer bloque de referencia y, si lo es, lo modificaré. scope_creep Talk 16:40, 26 de octubre de 2024 (UTC) [ responder ]
Todo el primer bloque son dos menciones pasajeras, un par de videos de YouTube y muchos sitios de listas de álbumes estilo Discog. No hay nada para un blp. Varios de ellos no lo mencionan. Son falsos. scope_creep Talk 16:49, 26 de octubre de 2024 (UTC) [ responder ]

Editor con más de 1000 ediciones bloqueado por mal uso de IA

Usuario:Jeaucques Quœure . Ver [1]. Me pregunto si se podría crear un proceso similar a WP:CCI para las contribuciones deficientes de la IA . ¡háblame!13:02 26 octubre 2024 (UTC) [ responder ]

Vaya, creo que sería un atolladero si buscáramos específicamente texto de LLM, ya que la detección sería lenta y, en última instancia, cuestionable en muchos casos. Podríamos revisar y verificar que la información agregada en esas ediciones sea verificable, pero no iría más allá de eso, ni creo que sea necesario ir más allá de eso. —  rsjaffe  🗣️ 14:28, 26 de octubre de 2024 (UTC) [ responder ]
Revisé las últimas 50 ediciones y parece que las ediciones problemáticas se han solucionado. ¡háblame!14:55 26 octubre 2024 (UTC) [ responder ]