stringtranslate.com

Dao Wu

Wu Dao ( chino :悟道; pinyin : wùdào ; lit. 'camino a la conciencia') [1] es una inteligencia artificial multimodal desarrollada por la Academia de Inteligencia Artificial de Beijing (BAAI). [2] [3] [4] Wu Dao 1.0 se anunció por primera vez el 11 de enero de 2021; [1] [5] una versión mejorada, Wu Dao 2.0, se anunció el 31 de mayo. [6] [5] Se ha comparado con GPT-3 , [7] y está construido sobre una arquitectura similar; en comparación, GPT-3 tiene 175 mil millones de parámetros [8] [9] —variables y entradas dentro del modelo de aprendizaje automático— mientras que Wu Dao tiene 1,75 billones de parámetros. [6] [10] Wu Dao fue entrenado con 4,9 terabytes de imágenes y textos (que incluían 1,2 terabytes de texto en chino y 1,2 terabytes de texto en inglés), [6] [11] mientras que GPT-3 fue entrenado con 45 terabytes de datos de texto. [12] Sin embargo, un creciente cuerpo de trabajo destaca la importancia de aumentar tanto los datos como los parámetros. [13] El presidente de BAAI dijo que Wu Dao era un intento de "crear el modelo de IA más grande y poderoso posible". [8] Wu Dao 2.0, fue llamado "el sistema de IA de lenguaje más grande hasta ahora". [4] Fue interpretado por los comentaristas como un intento de "competir con los Estados Unidos". [14] [15] . Cabe destacar que el tipo de arquitectura utilizada para Wu Dao 2.0 es un modelo de mezcla de expertos (MoE), [5] a diferencia de GPT-3, que es un modelo "denso": [16] mientras que los modelos MoE requieren mucho menos poder computacional para entrenarse que los modelos densos con la misma cantidad de parámetros, [16] los modelos MoE de billones de parámetros han demostrado un rendimiento comparable a modelos que son cientos de veces más pequeños. [16]

Los creadores de Wu Dao demostraron su capacidad para realizar procesamiento de lenguaje natural y reconocimiento de imágenes, además de la generación de texto e imágenes. [5] El modelo no solo puede escribir ensayos, poemas y versos en chino tradicional, sino que también puede generar texto alternativo basado en una imagen estática y generar imágenes casi fotorrealistas basadas en descripciones en lenguaje natural. Wu Dao también mostró su capacidad para impulsar ídolos virtuales (con un poco de ayuda de Xiaoice, un spinoff de Microsoft ) y predecir las estructuras 3D de proteínas como AlphaFold . [5]

Historia

El desarrollo de Wu Dao comenzó en octubre de 2020, varios meses después del lanzamiento de GPT-3 en mayo de 2020. [1] La primera iteración del modelo, Wu Dao 1.0, "inició proyectos de investigación a gran escala" [17] a través de cuatro modelos relacionados. [18] [17]

Corpus WuDao

WuDao Corpora (también escrito como WuDaoCorpora), a partir de la versión 2.0, era un gran conjunto de datos construido para entrenar Wu Dao 2.0. Contiene 3 terabytes de texto extraído de datos web, 90 terabytes de datos gráficos (que incorporan 630 millones de pares de texto/imagen) y 181 gigabytes de diálogo chino (que incorporan 1.4 mil millones de rondas de diálogo). [19] Wu Dao 2.0 se entrenó utilizando FastMoE, una variante de la arquitectura de mezcla de expertos publicada por Google . [18] TheNextWeb dijo en junio de 2021 que "los detalles sobre exactamente cómo se entrenó Wu Dao, qué había en sus diversos conjuntos de datos y para qué aplicaciones prácticas se puede utilizar siguen siendo escasos". [8] El director de políticas de OpenAI llamó a Wu Dao un ejemplo de "difusión de modelos", un neologismo que describe una situación en la que múltiples entidades desarrollan modelos similares a los de OpenAI. [20]

Referencias

  1. ^ abc 智源研究院 (11 de enero de 2021). "面向认知，智源研究院联合多家单位发布超大规模新型预训练模型"悟道·文汇"".
  2. ^ Bailey, Ronald (11 de junio de 2021). "Se revela el sorprendente nuevo modelo de lenguaje chino impulsado por inteligencia artificial Wu Dao 2.0". Reason .
  3. ^ "El modelo de inteligencia artificial WuDao 2.0, que batió récords, se presentó en Beijing". China.org.cn . 3 de junio de 2021.
  4. ^ ab "¿Puede la IA ayudar a los inversores a encontrar la próxima tecnología de moda? Varias empresas están apostando por ello". Fortune .
  5. ^ abcde Tarantola, A. (2 de junio de 2021). "La gigantesca IA multimodal de China no es una máquina que se limite a un solo uso". Engadget .
  6. ^ abc Feng, Coco (2 de junio de 2021). "El modelo de lenguaje de inteligencia artificial financiado por Beijing supera a Google y OpenAI en números brutos". South China Morning Post .
  7. ^ "WuDao 2.0, la inteligencia artificial cinematográfica más potente de OpenAI y Google". lantidiplomatico.it . 6 de junio de 2021.
  8. ^ abc Greene, Tristan (3 de junio de 2021). "La IA 'Wu Dao' de China es 10 veces más grande que GPT-3 y puede cantar". TNW | Neural .
  9. ^ Mott, Nathaniel (3 de junio de 2021). "China dice que la IA de WuDao 2.0 es incluso mejor conversadora que OpenAI y Google". Tom's Hardware .
  10. ^ "Wu Dao 2.0, el modelo de IA multimodal de aprendizaje profundo más grande del mundo". El Comercio . 3 de junio de 2021.
  11. ^ Heikkilä, Melissa (9 de junio de 2021). "Conozca a Wu Dao 2.0, el modelo de inteligencia artificial chino que hace sudar a Occidente". Politico .
  12. ^ B. Brown, Tom (2020). "Los modelos lingüísticos son aprendices con pocas posibilidades". arXiv : 2005.14165 [cs.CL].
  13. ^ Hoffmann, Jordan (2022). "Entrenamiento de modelos de lenguaje grandes con computación óptima". arXiv : 2203.15556 [cs.CL].
  14. ^ "Китайская нейросеть WuDao 2.0 con 1,75 millones de parámetros previos a las analogías de Google y OpenAI". 3DNews - Resumen digital diario .
  15. ^ Mertens, Jennifer (5 de junio de 2021). "La China desarrolla une IA pour concurrencer les États-Unis".
  16. ^ abc Artetxe, Mikel (2021). "Modelado eficiente del lenguaje a gran escala con mezclas de expertos". arXiv : 2112.10684 [cs.CL].
  17. ^ abcdef "¿El GPT-3 de China? BAAI presenta el modelo de inteligencia a gran escala 'Wu Dao 1.0' | Sincronizado". syncedreview.com . 23 de marzo de 2021.
  18. ^ ab Schreiner, Maximilian (13 de junio de 2021). "Sprach-KI en China: Wu Dao 2.0 es más grande que GPT-3".
  19. ^ "recurso". recurso.wudaoai.cn .
  20. ^ Wiggers, Kyle (4 de junio de 2021). "AI Weekly: El modelo multimodal masivo de China destaca la brecha en la investigación de IA". VentureBeat .