Modelo de lenguaje de gran tamaño desarrollado por Google
LaMDA ( Language Model for Dialogue Applications ) es una familia de modelos de lenguaje conversacional de gran tamaño desarrollados por Google . Originalmente desarrollado y presentado como Meena en 2020, el LaMDA de primera generación se anunció durante la conferencia Google I/O de 2021 , mientras que la segunda generación se anunció el año siguiente.
En junio de 2022, LaMDA ganó una gran atención cuando el ingeniero de Google Blake Lemoine afirmó que el chatbot se había vuelto consciente . La comunidad científica ha rechazado en gran medida las afirmaciones de Lemoine, aunque ha dado lugar a conversaciones sobre la eficacia de la prueba de Turing , que mide si una computadora puede pasar por un humano. En febrero de 2023, Google anunció Bard (ahora Gemini), un chatbot de inteligencia artificial conversacional impulsado por LaMDA, para contrarrestar el auge de ChatGPT de OpenAI .
Historia
Fondo
El 28 de enero de 2020, Google presentó Meena, un chatbot impulsado por redes neuronales con 2.600 millones de parámetros, que Google afirmó ser superior a todos los demás chatbots existentes. [1] [2] La compañía contrató previamente al científico informático Ray Kurzweil en 2012 para desarrollar múltiples chatbots para la empresa, incluido uno llamado Danielle. [3] El equipo de investigación de Google Brain , que desarrolló Meena, esperaba lanzar el chatbot al público en una capacidad limitada, pero los ejecutivos corporativos se negaron con el argumento de que Meena violaba los "principios de inteligencia artificial de Google en torno a la seguridad y la equidad". Meena luego pasó a llamarse LaMDA a medida que aumentaban sus datos y su poder computacional , y el equipo de Google Brain nuevamente buscó implementar el software en Google Assistant , el software de asistente virtual de la compañía , además de abrirlo a una demostración pública. Ambas solicitudes fueron nuevamente denegadas por el liderazgo de la empresa. Esto finalmente llevó a los dos investigadores principales de LaMDA, Daniel de Freitas y Noam Shazeer, a abandonar la empresa frustrados. [4]
Primera generación
Google anunció el modelo de lenguaje conversacional de gran tamaño LaMDA durante la conferencia Google I/O del 18 de mayo de 2021, impulsado por inteligencia artificial . [5] [6] El acrónimo significa "Modelo de lenguaje para aplicaciones de diálogo". [5] [7] Construido sobre la arquitectura seq2seq , redes neuronales basadas en transformadores desarrolladas por Google Research en 2017, LaMDA fue entrenado en diálogos e historias humanas, lo que le permitió participar en conversaciones abiertas. [8] Google afirma que se ha asegurado que las respuestas generadas por LaMDA sean "sensatas, interesantes y específicas para el contexto". [9] LaMDA tiene acceso a múltiples sistemas de procesamiento de texto simbólico , incluida una base de datos, un reloj y calendario en tiempo real, una calculadora matemática y un sistema de traducción de lenguaje natural, lo que le otorga una precisión superior en las tareas respaldadas por esos sistemas y lo convierte en uno de los primeros chatbots de proceso dual . LaMDA tampoco es apátrida , porque su métrica de " sensatez " se ajusta "preacondicionando" cada turno de diálogo anteponiendo muchas de las interacciones de diálogo más recientes, usuario por usuario. [10] LaMDA está ajustado en nueve métricas de rendimiento únicas: sensatez, especificidad, interés, seguridad, fundamento, informatividad, precisión de citas, utilidad y consistencia de roles. [11] : 5–6 Las pruebas de Google indicaron que LaMDA superó las respuestas humanas en el área de interés. [12]
El conjunto de datos de preentrenamiento consta de 2,97 mil millones de documentos, 1,12 mil millones de diálogos y 13,39 mil millones de enunciados, para un total de 1,56 mil millones de palabras. El modelo LaMDA más grande tiene 137 mil millones de parámetros no incorporados. [11] : 4
Segunda generación
El 11 de mayo de 2022, Google presentó LaMDA 2, el sucesor de LaMDA, durante la conferencia Google I/O 2022. La nueva encarnación del modelo extrae ejemplos de texto de numerosas fuentes y los utiliza para formular "conversaciones naturales" únicas sobre temas a los que quizás no haya sido entrenado para responder. [13]
El 11 de junio de 2022, The Washington Post informó que el ingeniero de Google Blake Lemoine había sido puesto en licencia administrativa paga después de que Lemoine le dijera a los ejecutivos de la compañía Blaise Agüera y Arcas y Jen Gennai que LaMDA se había vuelto consciente . Lemoine llegó a esta conclusión después de que el chatbot diera respuestas cuestionables a preguntas sobre la identidad propia , los valores morales , la religión y las Tres Leyes de la Robótica de Isaac Asimov . [15] [16] Google refutó estas afirmaciones, insistiendo en que había evidencia sustancial que indicaba que LaMDA no era consciente. [17] En una entrevista con Wired , Lemoine reiteró sus afirmaciones de que LaMDA era "una persona" según lo dicta la Decimotercera Enmienda de la Constitución de los Estados Unidos , comparándola con una "inteligencia extraterrestre de origen terrestre". Además, reveló que Google lo había despedido después de que contratara a un abogado en nombre de LaMDA, luego de que el chatbot le solicitara a Lemoine que lo hiciera. [18] [19] El 22 de julio, Google despidió a Lemoine, afirmando que Blake había violado sus políticas "para salvaguardar la información del producto" y rechazó sus afirmaciones como "totalmente infundadas". [20] [21] La controversia interna instigada por el incidente impulsó a los ejecutivos de Google a decidir no publicar LaMDA, algo que ya habían estado considerando previamente. [4]
Las afirmaciones de Lemoine fueron ampliamente rechazadas por la comunidad científica. [22] Muchos expertos rechazaron la idea de que LaMDA fuera consciente, incluido el ex profesor de psicología de la Universidad de Nueva York Gary Marcus , David Pfau de la empresa hermana de Google DeepMind , Erik Brynjolfsson del Instituto de Inteligencia Artificial Centrada en el Humano de la Universidad de Stanford y el profesor de la Universidad de Surrey Adrian Hilton. [14] [23] Yann LeCun , quien lidera el equipo de investigación de IA de Meta Platforms , afirmó que las redes neuronales como LaMDA "no eran lo suficientemente poderosas para alcanzar la verdadera inteligencia". [24] El profesor de la Universidad de California en Santa Cruz Max Kreminski señaló que la arquitectura de LaMDA no "soportaba algunas capacidades clave de la conciencia humana" y que los pesos de su red neuronal estaban "congelados", asumiendo que era un modelo de lenguaje grande típico. [25] El filósofo Nick Bostrom señaló, sin embargo, que la falta de criterios precisos y consensuados para determinar si un sistema es consciente justifica cierta incertidumbre. [26] David Ferrucci, desarrollador principal de IBM Watson, comparó cómo LaMDA parecía ser humana de la misma manera que Watson lo hizo cuando se presentó por primera vez. [27] El ex especialista en ética de inteligencia artificial de Google Timnit Gebru llamó a Lemoine víctima de un "ciclo de exageración" iniciado por investigadores y los medios de comunicación. [28] Las afirmaciones de Lemoine también han generado discusión sobre si la prueba de Turing siguió siendo útil para determinar el progreso de los investigadores hacia el logro de la inteligencia artificial general , [14] con Will Omerus del Post opinando que la prueba realmente medía si los sistemas de inteligencia de las máquinas eran capaces de engañar a los humanos, [29] mientras que Brian Christian de The Atlantic dijo que la controversia era un ejemplo del efecto ELIZA . [30]
Productos
Cocina de pruebas de inteligencia artificial
Con la presentación de LaMDA 2 en mayo de 2022, Google también lanzó AI Test Kitchen, una aplicación móvil para el sistema operativo Android impulsado por LaMDA capaz de proporcionar listas de sugerencias a pedido en función de un objetivo complejo. [31] [32] Originalmente abierta solo para los empleados de Google, la aplicación estaba programada para estar disponible para "académicos, investigadores y legisladores selectos" por invitación en algún momento del año. [33] En agosto, la empresa comenzó a permitir que los usuarios en los EE. UU. se registren para obtener acceso anticipado. [34] En noviembre, Google lanzó una actualización de "temporada 2" de la aplicación, integrando una forma limitada del modelo de texto a imagen Imagen de Google Brain . [35] Una tercera iteración de AI Test Kitchen estaba en desarrollo en enero de 2023, y se esperaba que se lanzara en I/O a finales de ese año. [36] Después de la conferencia magistral de I/O de 2023 en mayo, Google agregó MusicLM, un generador de música impulsado por IA que se presentó por primera vez en enero, a la aplicación AI Test Kitchen. [37] [38] En agosto, la aplicación fue eliminada de Google Play y de la App Store de Apple , y en su lugar pasó a estar completamente en línea. [39]
Bardo
El 6 de febrero de 2023, Google anunció Bard, un chatbot de IA conversacional impulsado por LaMDA, en respuesta a la inesperada popularidad del chatbot ChatGPT de OpenAI . [40] [41] [42] Google posiciona al chatbot como un "servicio de IA colaborativo" en lugar de un motor de búsqueda . [43] [44] Bard estuvo disponible para acceso anticipado el 21 de marzo. [45] [46] [47]
Otros productos
Además de Bard, Pichai también presentó la API de lenguaje generativo de la compañía, una interfaz de programación de aplicaciones también basada en LaMDA, que anunció que se abriría a desarrolladores externos en marzo de 2023. [40]
Arquitectura
LaMDA es un modelo de lenguaje Transformer que solo utiliza un decodificador . [48] Se entrena previamente en un corpus de texto que incluye documentos y diálogos que constan de 1,56 billones de palabras, [49] y luego se entrena con datos de ajuste fino generados por respuestas anotadas manualmente para "sensatez, interés y seguridad". [50]
^ Johnson, Khari (28 de enero de 2020). «Meena es el intento de Google de crear una verdadera IA conversacional». VentureBeat . Archivado desde el original el 1 de octubre de 2022. Consultado el 11 de marzo de 2023 .
^ Heaven, William Douglas (30 de enero de 2020). «Google dice que su nuevo chatbot Meena es el mejor del mundo». MIT Technology Review . Archivado desde el original el 2 de agosto de 2020. Consultado el 11 de marzo de 2023 .
^ Popper, Ben (27 de mayo de 2016). «Ray Kurzweil está construyendo un chatbot para Google». The Verge . Archivado desde el original el 27 de mayo de 2016. Consultado el 11 de marzo de 2023 .
^ ab Kruppa, Miles; Schechner, Sam (7 de marzo de 2023). «Cómo Google se volvió cauteloso con la IA y le dio una oportunidad a Microsoft» . The Wall Street Journal . ISSN 0099-9660. Archivado desde el original el 7 de marzo de 2023. Consultado el 9 de marzo de 2023 .
^ ab Condon, Stephanie (18 de mayo de 2021). «Google I/O 2021: Google presenta un nuevo modelo de lenguaje conversacional, LaMDA». ZDNET . Archivado desde el original el 18 de mayo de 2021 . Consultado el 12 de junio de 2022 .
^ Roth, Emma (5 de marzo de 2023). «Conozca a las empresas que intentan seguir el ritmo de ChatGPT». The Verge . Archivado desde el original el 5 de marzo de 2023. Consultado el 9 de marzo de 2023 .
^ Fowler, Geoffrey A. (21 de marzo de 2023). "¿Qué dices, Bard? Lo que la nueva IA de Google hace bien, mal y de forma extraña" . The Washington Post . ISSN 0190-8286. Archivado desde el original el 21 de marzo de 2023. Consultado el 16 de octubre de 2023 .
↑ Agüera y Arcas, Blaise (9 de junio de 2022). «Las redes neuronales artificiales avanzan hacia la conciencia, según Blaise Agüera y Arcas» . The Economist . ISSN 0013-0613. Archivado desde el original el 9 de junio de 2022. Consultado el 12 de junio de 2022 .
^ Cheng, Heng-Tze; Thoppilan, Romal (21 de enero de 2022). «LaMDA: hacia modelos de diálogo seguros, fundamentados y de alta calidad para todo». Google AI . Archivado desde el original el 25 de marzo de 2022 . Consultado el 12 de junio de 2022 .
^ Thoppilan y col. 2022, pág. 6.
^ ab Thoppilan et al. 2022, págs. 5–6.
^ Hager, Ryne (16 de junio de 2022). «Cómo funciona la IA LaMDA de Google y por qué parece mucho más inteligente de lo que es». Android Police . Archivado desde el original el 16 de junio de 2022. Consultado el 19 de junio de 2022 .
^ Wiggers, Kyle (11 de mayo de 2022). «Google detalla su último modelo de lenguaje y AI Test Kitchen, un escaparate para la investigación en IA». TechCrunch . Archivado desde el original el 11 de mayo de 2022. Consultado el 12 de junio de 2022 .
^ abc Khan, Jeremy (13 de junio de 2022). "Los expertos en inteligencia artificial dicen que la afirmación del investigador de Google de que su chatbot se volvió 'sensible' es ridícula, pero también destaca grandes problemas en el campo" . Fortune . Archivado desde el original el 13 de junio de 2022. Consultado el 18 de junio de 2022 .
^ Tiku, Nitasha (11 de junio de 2022). «El ingeniero de Google que cree que la IA de la empresa ha cobrado vida» . The Washington Post . ISSN 0190-8286. Archivado desde el original el 11 de junio de 2022. Consultado el 12 de junio de 2022 .
^ Luscombe, Richard (12 de junio de 2022). «Ingeniero de Google fue puesto en licencia después de decir que el chatbot de IA se ha vuelto consciente». The Guardian . ISSN 0261-3077. Archivado desde el original el 12 de junio de 2022. Consultado el 18 de junio de 2022 .
^ Vlamis, Kelsey (12 de junio de 2022). "Lea las conversaciones que ayudaron a convencer a un ingeniero de Google de que un chatbot de inteligencia artificial se había vuelto consciente: 'A menudo intento averiguar quién y qué soy'" . Business Insider . Archivado desde el original el 12 de junio de 2022. Consultado el 12 de junio de 2022 .
^ Levy, Steven (17 de junio de 2022). «Blake Lemoine dice que la IA LaMDA de Google se enfrenta a la 'intolerante'» . Wired . Archivado desde el original el 18 de junio de 2022 . Consultado el 18 de junio de 2022 .
^ Nguyen, Britney (23 de junio de 2022). «Un ingeniero de Google suspendido dice que la IA que él cree que es sensible contrató a un abogado» . Business Insider . Archivado desde el original el 23 de junio de 2022. Consultado el 29 de junio de 2022 .
^ Khushi, Akanksha (23 de julio de 2022). «Google despide a un ingeniero de software que afirmó que su chatbot de inteligencia artificial es sensible» . Reuters . Archivado desde el original el 23 de julio de 2022. Consultado el 23 de julio de 2022 .
^ Clark, Mitchell (22 de julio de 2022). «El ingeniero que afirmó que una IA de Google es sensible ha sido despedido». The Verge . Archivado desde el original el 23 de julio de 2022. Consultado el 24 de julio de 2022 .
^ Metz, Rachel (13 de junio de 2022). "No, la IA de Google no es sensible". CNN Business . Archivado desde el original el 15 de junio de 2022. Consultado el 19 de junio de 2022 .
^ Sparkles, Matthew (13 de junio de 2022). "¿La inteligencia artificial LaMDA de Google realmente ha alcanzado la sensibilidad?". New Scientist . Archivado desde el original el 13 de junio de 2022. Consultado el 20 de junio de 2022 .
^ Grant, Nicole; Metz, Cade (12 de junio de 2022). «Google deja de lado a un ingeniero que afirma que su inteligencia artificial es sensible» . The New York Times . ISSN 0362-4331. Archivado desde el original el 12 de junio de 2022 . Consultado el 18 de junio de 2022 .
^ Alba, Davey (14 de junio de 2022). «El debate de Google sobre los bots «sensibles» eclipsa problemas más profundos de inteligencia artificial» . Bloomberg News . Archivado desde el original el 14 de junio de 2022. Consultado el 19 de junio de 2022 .
^ Leith, Sam (7 de julio de 2022). "Nick Bostrom: ¿Cómo podemos estar seguros de que una máquina no es consciente?". The Spectator . Consultado el 28 de abril de 2024 .
^ Goldman, Sharon (16 de junio de 2022). «AI Weekly: El debate sobre la IA «sensible» de LaMDA evoca recuerdos de IBM Watson». VentureBeat . Archivado desde el original el 19 de junio de 2022. Consultado el 19 de junio de 2022 .
^ Johnson, Khari (14 de junio de 2022). «LaMDA y la trampa de la IA consciente» . Wired . Archivado desde el original el 14 de junio de 2022 . Consultado el 18 de junio de 2022 .
^ Omerus, Will (17 de junio de 2022). «La IA de Google superó una famosa prueba y demostró que la prueba no funciona» . The Washington Post . ISSN 0190-8286. Archivado desde el original el 18 de junio de 2022 . Consultado el 19 de junio de 2022 .
^ Christian, Brian (21 de junio de 2022). «Cómo un empleado de Google cayó en el efecto Eliza». The Atlantic . Archivado desde el original el 21 de junio de 2022. Consultado el 8 de febrero de 2023 .
^ Low, Cherlynn (11 de mayo de 2022). «La cocina de pruebas de inteligencia artificial de Google te permite experimentar con su modelo de lenguaje natural». Engadget . Archivado desde el original el 11 de mayo de 2022. Consultado el 12 de junio de 2022 .
^ Vincent, James (11 de mayo de 2022). «Google está probando la versión beta de su inteligencia artificial futura». The Verge . Archivado desde el original el 11 de mayo de 2022. Consultado el 12 de junio de 2022 .
^ Bhattacharya, Ananya (11 de mayo de 2022). "Google está tan nervioso por lo que dirá su nuevo bot que hizo que la aplicación fuera solo para invitados". Quartz . Archivado desde el original el 12 de mayo de 2022 . Consultado el 12 de junio de 2022 .
^ Vincent, James (25 de agosto de 2022). «Google ha abierto la lista de espera para hablar con su chatbot de IA experimental». The Verge . Archivado desde el original el 25 de agosto de 2022. Consultado el 27 de agosto de 2022 .
^ Vincent, James (2 de noviembre de 2022). «Image, el modelo de inteligencia artificial de conversión de texto a imagen de Google, está haciendo su primera aparición pública (muy limitada)». The Verge . Archivado desde el original el 10 de noviembre de 2022. Consultado el 15 de febrero de 2023 .
^ Grant, Nico (20 de enero de 2023). «Google pide ayuda a Larry Page y Sergey Brin para luchar contra la IA» . The New York Times . ISSN 0362-4331. Archivado desde el original el 20 de enero de 2023. Consultado el 6 de febrero de 2023 .
^ Wiggers, Kyle (11 de mayo de 2023). "Práctica con el generador de música con tecnología de inteligencia artificial de Google". TechCrunch . Archivado desde el original el 11 de mayo de 2023 . Consultado el 10 de junio de 2023 .
^ Millman, Ethan (11 de mayo de 2023). "Hemos escuchado el futuro de la música. Hasta ahora, suena terrible" . Rolling Stone . Archivado desde el original el 11 de mayo de 2023. Consultado el 10 de junio de 2023 .
^ Bradshaw, Kyle (1 de agosto de 2023). «Google retira de la lista la aplicación AI Test Kitchen en Android e iOS [Actualizado]». 9to5Google . Archivado desde el original el 2 de agosto de 2023. Consultado el 11 de octubre de 2023 .
^ ab Alba, Davey ; Love, Julia (6 de febrero de 2023). «Google lanza la IA 'Bard', rival de ChatGPT, a los primeros probadores» . Los Angeles Times . ISSN 0458-3035. Archivado desde el original el 6 de febrero de 2023 . Consultado el 6 de febrero de 2023 .
^ Schechner, Sam; Kruppa, Miles (6 de febrero de 2023). «Google abre el rival de ChatGPT, Bard, para realizar pruebas, mientras la guerra de la IA se calienta» . The Wall Street Journal . ISSN 0099-9660. Archivado desde el original el 6 de febrero de 2023 . Consultado el 6 de febrero de 2023 .
^ Nieva, Richard (6 de febrero de 2023). «Google presenta un rival de ChatGPT llamado Bard en un lanzamiento limitado» . Forbes . Archivado desde el original el 7 de febrero de 2023. Consultado el 6 de febrero de 2023 .
^ Mollman, Steve (3 de marzo de 2023). "El director de Google, Bard, rival de ChatGPT, asegura a los empleados que es 'un servicio de inteligencia artificial colaborativo' y 'no una búsqueda'" . Fortune . Archivado desde el original el 4 de marzo de 2023. Consultado el 9 de marzo de 2023 .
^ Elias, Jennifer (3 de marzo de 2023). "Los ejecutivos de Google les dicen a los empleados en una tensa reunión general que Bard AI no se trata solo de búsqueda". CNBC . Archivado desde el original el 4 de marzo de 2023 . Consultado el 11 de marzo de 2023 .
^ Grant, Nico (21 de marzo de 2023). «Google lanza Bard, su competidor en la carrera por crear chatbots de IA» . The New York Times . ISSN 0362-4331. Archivado desde el original el 21 de marzo de 2023 . Consultado el 21 de marzo de 2023 .
^ Liedtke, Michael (21 de marzo de 2023). «El 'Bard' de inteligencia artificial de Google listo para la siguiente etapa» . The Washington Post . ISSN 0190-8286. Archivado desde el original el 21 de marzo de 2023. Consultado el 21 de marzo de 2023 .
^ Vincent, James (21 de marzo de 2023). «Google abre el acceso anticipado a su rival de ChatGPT, Bard: aquí están nuestras primeras impresiones». The Verge . Archivado desde el original el 21 de marzo de 2023. Consultado el 21 de marzo de 2023 .
