Carta de 2023 en la que se pide una pausa en la formación de sistemas de IA
Pausar los experimentos gigantes de IA: una carta abierta es el título de una carta publicada por el Future of Life Institute en marzo de 2023. La carta pide a "todos los laboratorios de IA que pausen de inmediato durante al menos 6 meses el entrenamiento de sistemas de IA más potentes que GPT-4 ", citando riesgos como la propaganda generada por la IA, la automatización extrema de los trabajos, la obsolescencia humana y una pérdida de control en toda la sociedad. [1] Recibió más de 30.000 firmas, incluidos investigadores académicos de IA y directores ejecutivos de la industria como Yoshua Bengio , Stuart Russell , Elon Musk , Steve Wozniak y Yuval Noah Harari . [1] [2] [3]
Motivaciones
La publicación se produjo una semana después del lanzamiento del gran modelo de lenguaje GPT-4 de OpenAI . Afirma que los grandes modelos de lenguaje actuales se están "volviendo competitivos con los humanos en tareas generales", haciendo referencia a un artículo sobre los primeros experimentos de GPT-4, descritos como "destellos de inteligencia artificial general ". [4] Se describe que la inteligencia artificial general plantea numerosos riesgos importantes, especialmente en un contexto de dinámica de carrera hacia el abismo en el que algunos laboratorios de inteligencia artificial pueden verse incentivados a pasar por alto la seguridad para implementar productos más rápidamente. [5]
En la carta se pide que se reorienten las investigaciones sobre IA para que los sistemas de IA potentes sean "más precisos, seguros, interpretables, transparentes, robustos, alineados, confiables y leales". La carta también recomienda una mayor regulación gubernamental, auditorías independientes antes de entrenar los sistemas de IA, así como "el seguimiento de los sistemas de IA de alta capacidad y de grandes reservas de capacidad computacional" y "una sólida financiación pública para la investigación técnica sobre seguridad de la IA". [1] FLI sugiere utilizar la "cantidad de computación que se utiliza en una serie de entrenamiento" como indicador de cuán poderosa es una IA y, por lo tanto, como umbral. [6]
Recepción
La carta recibió una amplia cobertura y recibió el apoyo de una serie de personalidades de alto perfil. A julio de 2024, no se había producido una pausa; en cambio, como señaló FLI en el primer aniversario de la carta, las empresas de IA han dirigido "vastas inversiones en infraestructura para entrenar sistemas de IA cada vez más gigantes". [7] Sin embargo, se le atribuyó el mérito de generar una "urgencia renovada dentro de los gobiernos para determinar qué hacer con el rápido progreso de la IA", y de reflejar la creciente preocupación del público por los riesgos que presenta la IA. [8]
Eliezer Yudkowsky escribió que la carta "no va lo suficientemente lejos" y argumentó que debería pedir una pausa indefinida. Teme que encontrar una solución al problema de la alineación podría llevar varias décadas y que cualquier IA desalineada lo suficientemente inteligente podría causar la extinción humana . [9]
La carta ha sido criticada por desviar la atención de riesgos sociales más inmediatos, como los sesgos algorítmicos . [10] El director ejecutivo de Microsoft, Bill Gates, decidió no firmar la carta, afirmando que no cree que "pedirle a un grupo en particular que haga una pausa resuelva los desafíos". [11]
Algunos miembros del IEEE han expresado diversas razones para firmar la carta, como que "hay demasiadas formas en las que se puede abusar de estos sistemas. Se distribuyen libremente y no hay ninguna revisión o regulación establecida para evitar daños". [12] Un especialista en ética de la IA argumentó que la carta genera conciencia sobre múltiples problemas, como la clonación de voz, pero sostuvo que la carta no era procesable ni ejecutable. [13] Timnit Gebru y otros argumentaron que la carta era sensacionalista y amplificaba "un escenario de ciencia ficción futurista y distópico" en lugar de los problemas actuales de la IA. [13]
Sam Altman , director ejecutivo de OpenAI , comentó que en la carta "faltaban la mayoría de los matices técnicos sobre dónde necesitamos la pausa" y afirmó que "una versión anterior de la carta afirmaba que OpenAI está entrenando GPT-5 en este momento. No lo estamos haciendo y no lo haremos durante algún tiempo". [14]
Reid Hoffman , director ejecutivo de Inflection AI , afirmó que la carta era una " señal de virtud ", sin ningún impacto real. [15]
Lista de signatarios notables
A continuación se enumeran algunos firmantes notables de la carta. [1]
- Yoshua Bengio (investigador canadiense de inteligencia artificial, director científico del Instituto de Algoritmos de Aprendizaje de Montreal y ganador del premio Turing )
- Stuart Russell (informático británico, autor de Inteligencia artificial: un enfoque moderno )
- Elon Musk (empresario e inversor, CEO de SpaceX y Tesla , propietario de X Corp )
- Steve Wozniak (empresario tecnológico estadounidense, cofundador de Apple )
- Yuval Noah Harari (historiador y filósofo israelí, autor del bestseller de divulgación científica Sapiens: Una breve historia de la humanidad )
- Emad Mostaque (director ejecutivo de Stability AI)
- Andrew Yang (empresario y político estadounidense)
- Laurence Krauss (físico teórico y autor canadiense-estadounidense)
- John Hopfield (científico estadounidense conocido por inventar las redes neuronales asociativas )
- Jaan Tallinn (multimillonario y programador informático estonio, cocreador de Skype y cofundador del Future of Life Institute)
- Ian Hogarth (inversor y empresario británico, presidente del Grupo de trabajo sobre modelos de IA de la Fundación del gobierno del Reino Unido)
- Evan Sharp (empresario estadounidense de Internet y cofundador de Pinterest )
- Gary Marcus (profesor emérito de psicología y neurociencia en la Universidad de Nueva York )
- Chris Larsen (empresario e inversor estadounidense)
- Grady Booch (ingeniero de software estadounidense)
- Max Tegmark (cosmólogo sueco-estadounidense, fundador del Future of Life Institute y autor de Life 3.0 )
- Anthony Aguirre (cosmólogo estadounidense, cofundador del Future of Life Institute y de la plataforma de predicción Metaculus )
- Tristan Harris (especialista en ética tecnológica estadounidense y cofundador del Centro para la Tecnología Humanitaria )
- Danielle Allen (politóloga estadounidense)
- Marc Rotenberg (presidente y fundador del Centro de Inteligencia Artificial y Política Digital)
- Steve Omohundro (informático estadounidense, director ejecutivo de Beneficial AI Research)
- Aza Raskin (cofundadora del Centro de Tecnología Humanitaria )
- Huw Price (filósofo australiano, cofundador del Centro para el Estudio del Riesgo Existencial )
- Jeff Orlowski (cineasta estadounidense, director de Chasing Ice y The Social Dilemma )
- Olle Häggström (matemático sueco y autor de Here be Dragons, un libro que analiza los peligros potenciales de las tecnologías emergentes)
- Raja Chatila (profesor de Robótica, IA y Ética y exdirector de Investigación del Centro Nacional de Investigación Científica de Francia )
- Moshe Vardi (matemático y científico informático israelí)
- Adam D. Smith (informático de la Universidad de Boston )
- Daron Acemoglu (economista turco y profesor del MIT )
- Christof Koch ( neurofisiólogo y neurocientífico computacional alemán )
- George Dyson (autor e historiador de la tecnología estadounidense)
- Gillian Hadfield (especialista en derecho y ex asesora principal de políticas de OpenAI )
- Erik Hoel ( neurocientífico , neurofilósofo y escritor estadounidense )
- Bart Selman (profesor holandés de informática, cofundador del Centro para la Inteligencia Artificial Compatible con los Humanos )
- Tom Gruber (científico informático y cofundador de Siri Inc. )
- Robert Brandenberger (cosmólogo teórico suizo-canadiense)
- Michael Wellman (científico informático estadounidense y miembro de la Asociación para el Avance de la Inteligencia Artificial )
- Berndt Müller (físico nuclear alemán)
- Alan Mackworth (investigador canadiense de inteligencia artificial y expresidente de la Asociación para el Avance de la Inteligencia Artificial )
Véase también
Referencias
- ^ abcd "Pausen los experimentos gigantes de inteligencia artificial: una carta abierta". Future of Life Institute . Consultado el 19 de julio de 2024 .
- ^ Metz, Cade; Schmidt, Gregory (29 de marzo de 2023). "Elon Musk y otros piden una pausa en la IA, citando 'riesgos profundos para la sociedad'". The New York Times . ISSN 0362-4331 . Consultado el 20 de agosto de 2024 .
- ^ Hern, Alex (29 de marzo de 2023). «Elon Musk se suma al llamado a hacer una pausa en la creación de 'mentes digitales' gigantes de IA». The Guardian . ISSN 0261-3077 . Consultado el 20 de agosto de 2024 .
- ^ Bubeck, Sébastien; Chandrasekaran, Varun; Eldan, Ronen; Gehrke, Johannes; Horvitz, Eric; Kamar, Ece; Lee, Peter; Lee, Yin Tat; Li, Yuanzhi; Lundberg, Scott; Nori, Harsha; Palangi, Hamid; Ribeiro, Marco Tulio; Zhang, Yi (12 de abril de 2023). "Chispas de inteligencia artificial general: primeros experimentos con GPT-4". arXiv : 2303.12712 [cs.CL].
- ^ "Los diputados advierten de que la carrera armamentista de la IA está llegando a su fin | Computer Weekly". ComputerWeekly.com . Consultado el 13 de abril de 2023 .
- ^ Soporte (31-03-2023). "Preguntas frecuentes sobre la carta abierta de FLI que pide una pausa en los experimentos gigantes de inteligencia artificial". Future of Life Institute . Consultado el 13-04-2023 .
- ^ Aguirre, Anthony (22 de marzo de 2024). "La carta de pausa: un año después". Future of Life Institute . Consultado el 19 de julio de 2024 .
- ^ "Seis meses después de la petición de pausar la IA, ¿estamos más cerca del desastre?". euronews . 2023-09-21 . Consultado el 2024-07-19 .
- ^ "La carta abierta sobre la IA no llega lo suficientemente lejos". Time . 2023-03-29 . Consultado el 2023-04-13 .
- ^ Paul, Kari (1 de abril de 2023). «La carta firmada por Elon Musk exigiendo una pausa en la investigación sobre inteligencia artificial genera controversia». The Guardian . ISSN 0261-3077 . Consultado el 14 de abril de 2023 .
- ^ Rigby, Jennifer (4 de abril de 2023). "Bill Gates dice que los llamados a pausar la IA no 'resolverán los desafíos'". Reuters . Consultado el 13 de abril de 2023 .
- ^ "La carta abierta 'AI Pause' aviva el miedo y la controversia - IEEE Spectrum". IEEE . Consultado el 13 de abril de 2023 .
- ^ ab Anderson, Margo (7 de abril de 2023). "La carta abierta 'AI Pause' aviva el miedo y la controversia - IEEE Spectrum". IEEE Spectrum . Consultado el 3 de julio de 2024 .
- ^ Vincent, James (14 de abril de 2023). "El director ejecutivo de OpenAI confirma que la empresa no está entrenando GPT-5 y 'no lo hará durante algún tiempo'". The Verge .
- ^ Heath, Ryan (22 de septiembre de 2023). "La gran "pausa" de la IA que no fue". Axios .
Enlaces externos
- Sitio web oficial
- Preguntas frecuentes
- La formulación de políticas en la pausa