El riesgo existencial de la inteligencia artificial se refiere a la idea de que un progreso sustancial en la inteligencia artificial general (IAG) podría llevar a la extinción humana o a una catástrofe global irreversible . [1] [2] [3] [4]
Un argumento a favor de la importancia de este riesgo hace referencia a cómo los seres humanos dominan a otras especies porque el cerebro humano posee capacidades distintivas de las que carecen otros animales. Si la IA superara la inteligencia humana y se volviera superinteligente , podría volverse incontrolable. Así como el destino del gorila de montaña depende de la buena voluntad humana, el destino de la humanidad podría depender de las acciones de una futura máquina superinteligente. [5]
La plausibilidad de una catástrofe existencial debido a la IA es ampliamente debatida. Depende en parte de si la IAG o la superinteligencia son alcanzables, la velocidad a la que surgen capacidades y comportamientos peligrosos [6] y si existen escenarios prácticos para que la IA tome el control . [7] Los científicos informáticos y los directores ejecutivos de tecnología, como Geoffrey Hinton , [8] Yoshua Bengio , [9] Alan Turing , [a] Elon Musk , [12] y el director ejecutivo de OpenAI, Sam Altman , han expresado inquietudes sobre la superinteligencia. [13] En 2022, una encuesta a investigadores de IA con una tasa de respuesta del 17% encontró que la mayoría creía que hay un 10 por ciento o más de posibilidades de que la incapacidad humana para controlar la IA provoque una catástrofe existencial. [14] [15] En 2023, cientos de expertos en IA y otras figuras notables firmaron una declaración en la que afirmaban que "la mitigación del riesgo de extinción de la IA debería ser una prioridad mundial junto con otros riesgos a escala social, como las pandemias y la guerra nuclear ". [16] Tras la creciente preocupación por los riesgos de la IA, los líderes gubernamentales como el primer ministro del Reino Unido, Rishi Sunak [17], y el secretario general de las Naciones Unidas, António Guterres [18], pidieron un mayor enfoque en la regulación global de la IA .
Dos fuentes de preocupación surgen de los problemas de control y alineación de la IA . Controlar una máquina superinteligente o inculcarle valores compatibles con los humanos puede ser difícil. Muchos investigadores creen que una máquina superinteligente probablemente se resistiría a los intentos de desactivarla o cambiar sus objetivos, ya que eso le impediría alcanzar sus objetivos actuales. Sería extremadamente difícil alinear una superinteligencia con toda la gama de valores y limitaciones humanas significativas. [1] [19] [20] En cambio, los escépticos como el científico informático Yann LeCun sostienen que las máquinas superinteligentes no tendrán ningún deseo de autopreservación. [21]
Una tercera fuente de preocupación es la posibilidad de una repentina " explosión de inteligencia " que tome a la humanidad desprevenida. En este escenario, una IA más inteligente que sus creadores sería capaz de mejorarse recursivamente a un ritmo exponencialmente creciente, mejorando demasiado rápido para que sus controladores o la sociedad en general puedan controlarlo. [1] [19] Empíricamente, ejemplos como AlphaZero , que aprendió a jugar Go por sí solo y superó rápidamente la capacidad humana, muestran que los sistemas de IA específicos de un dominio a veces pueden progresar de una capacidad infrahumana a una capacidad sobrehumana muy rápidamente, aunque dichos sistemas de aprendizaje automático no mejoran recursivamente su arquitectura fundamental. [22]
Uno de los primeros autores que expresó una seria preocupación por el hecho de que las máquinas altamente avanzadas pudieran plantear riesgos existenciales para la humanidad fue el novelista Samuel Butler , quien escribió en su ensayo de 1863 Darwin entre las máquinas : [23]
El resultado final es simplemente una cuestión de tiempo, pero que llegará el día en que las máquinas tendrán la supremacía real sobre el mundo y sus habitantes es algo que ninguna persona de mente verdaderamente filosófica puede cuestionar ni por un momento.
En 1951, el científico informático fundamental Alan Turing escribió el artículo "Maquinaria inteligente, una teoría herética", en el que propuso que las inteligencias generales artificiales probablemente "tomarían el control" del mundo a medida que se volvieran más inteligentes que los seres humanos:
Supongamos ahora, a modo de argumento, que las máquinas [inteligentes] son una posibilidad genuina, y observemos las consecuencias de construirlas... No habría posibilidad de que las máquinas murieran, y serían capaces de conversar entre sí para agudizar su ingenio. Por lo tanto, en algún momento deberíamos esperar que las máquinas asumieran el control, de la manera que se menciona en Erewhon de Samuel Butler . [24]
En 1965, IJ Good originó el concepto ahora conocido como "explosión de inteligencia" y dijo que los riesgos fueron subestimados: [25]
Definamos una máquina ultrainteligente como aquella que puede superar con creces todas las actividades intelectuales de cualquier hombre, por muy inteligente que sea. Puesto que el diseño de máquinas es una de esas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas incluso mejores; entonces se produciría sin duda una «explosión de inteligencia» y la inteligencia del hombre quedaría muy por detrás. Así pues, la primera máquina ultrainteligente es el último invento que el hombre necesita hacer, siempre que la máquina sea lo bastante dócil como para decirnos cómo mantenerla bajo control. Es curioso que este punto se plantee tan pocas veces fuera de la ciencia ficción. A veces merece la pena tomarse en serio la ciencia ficción. [26]
Académicos como Marvin Minsky [27] y el propio IJ Good [28] expresaron ocasionalmente su preocupación por la posibilidad de que una superinteligencia pudiera tomar el control, pero no hicieron ningún llamamiento a la acción. En 2000, el científico informático y cofundador de Sun Bill Joy escribió un influyente ensayo, " Por qué el futuro no nos necesita ", en el que identificaba a los robots superinteligentes como un peligro de alta tecnología para la supervivencia humana, junto con la nanotecnología y las bioplagas artificiales. [29]
Nick Bostrom publicó Superintelligence en 2014, que presentó sus argumentos de que la superinteligencia plantea una amenaza existencial. [30] Para 2015, figuras públicas como los físicos Stephen Hawking y el premio Nobel Frank Wilczek , los científicos informáticos Stuart J. Russell y Roman Yampolskiy , y los empresarios Elon Musk y Bill Gates expresaron su preocupación por los riesgos de la superinteligencia. [31] [32] [33] [34] También en 2015, la Carta Abierta sobre Inteligencia Artificial destacó el "gran potencial de la IA" y alentó más investigación sobre cómo hacerla robusta y beneficiosa. [35] En abril de 2016, la revista Nature advirtió: "Las máquinas y los robots que superan a los humanos en todos los ámbitos podrían automejorarse más allá de nuestro control, y sus intereses podrían no alinearse con los nuestros". [36] En 2020, Brian Christian publicó The Alignment Problem , que detalla la historia del progreso en la alineación de la IA hasta ese momento. [37] [38]
En marzo de 2023, figuras clave en IA, como Musk, firmaron una carta del Future of Life Institute en la que se pedía que se detuviera el entrenamiento avanzado en IA hasta que pudiera regularse adecuadamente. [39] En mayo de 2023, el Centro para la Seguridad de la IA publicó una declaración firmada por numerosos expertos en seguridad de la IA y el riesgo existencial de la IA que decía: "Mitigar el riesgo de extinción de la IA debería ser una prioridad global junto con otros riesgos a escala social, como las pandemias y la guerra nuclear". [40] [41]
La inteligencia artificial general (IAG) se define generalmente como un sistema que se desempeña al menos tan bien como los humanos en la mayoría o en todas las tareas intelectuales. [42] Una encuesta de 2022 a investigadores de IA encontró que el 90% de los encuestados esperaba que la IAG se lograra en los próximos 100 años, y la mitad esperaba lo mismo para 2061. [43] Mientras tanto, algunos investigadores descartan los riesgos existenciales de la IAG como "ciencia ficción" basándose en su alta confianza en que la IAG no se creará en un futuro cercano. [44]
Los avances en los modelos lingüísticos de gran escala han llevado a algunos investigadores a reevaluar sus expectativas. Cabe destacar que Geoffrey Hinton dijo en 2023 que recientemente cambió su estimación de "entre 20 y 50 años antes de que tengamos una IA de propósito general" a "20 años o menos". [45]
El superordenador Frontier del Laboratorio Nacional de Oak Ridge resultó ser casi ocho veces más rápido de lo esperado. Feiyi Wang, un investigador del laboratorio, dijo: "No esperábamos esta capacidad" y "nos estamos acercando al punto en el que realmente podríamos simular el cerebro humano". [46]
En contraste con la IAG, Bostrom define una superinteligencia como "cualquier intelecto que supere ampliamente el desempeño cognitivo de los humanos en prácticamente todos los dominios de interés", incluyendo la creatividad científica, la planificación estratégica y las habilidades sociales. [47] [5] Sostiene que una superinteligencia puede superar en maniobrabilidad a los humanos en cualquier momento en que sus objetivos entren en conflicto con los de los humanos. Puede optar por ocultar su verdadera intención hasta que la humanidad no pueda detenerla. [48] [5] Bostrom escribe que para ser segura para la humanidad, una superinteligencia debe estar alineada con los valores y la moral humanos, de modo que esté "fundamentalmente de nuestro lado". [49]
Stephen Hawking sostuvo que la superinteligencia es físicamente posible porque "no existe ninguna ley física que impida que las partículas se organicen de maneras que realicen cálculos incluso más avanzados que las disposiciones de las partículas en los cerebros humanos". [32]
El momento en que se pueda lograr la superinteligencia artificial (IA), si es que alguna vez se logra, es necesariamente menos seguro que las predicciones sobre la IA general. En 2023, los líderes de OpenAI dijeron que no solo la IA general, sino también la superinteligencia, podrían lograrse en menos de 10 años. [50]
Bostrom sostiene que la IA tiene muchas ventajas sobre el cerebro humano : [5]
Según Bostrom, una IA que tenga una capacidad experta para realizar ciertas tareas clave de ingeniería de software podría convertirse en una superinteligencia debido a su capacidad de mejorar recursivamente sus propios algoritmos, incluso si inicialmente está limitada en otros dominios que no son directamente relevantes para la ingeniería. [5] [48] Esto sugiere que algún día una explosión de inteligencia podría tomar a la humanidad desprevenida. [5]
El economista Robin Hanson ha dicho que, para desencadenar una explosión de inteligencia, una IA debe volverse mucho mejor en innovación de software que el resto del mundo en conjunto, lo que considera inverosímil. [51]
En un escenario de "despegue rápido", la transición de la IA general a la superinteligencia podría llevar días o meses. En un escenario de "despegue lento", podría llevar años o décadas, lo que dejaría más tiempo para que la sociedad se prepare. [52]
A las superinteligencias a veces se las llama "mentes alienígenas", en referencia a la idea de que su forma de pensar y sus motivaciones podrían ser muy diferentes a las nuestras. Esto generalmente se considera una fuente de riesgo, lo que hace más difícil anticipar lo que una superinteligencia podría hacer. También sugiere la posibilidad de que una superinteligencia no valore particularmente a los humanos por defecto. [53] Para evitar el antropomorfismo , a veces se considera a la superinteligencia como un poderoso optimizador que toma las mejores decisiones para lograr sus objetivos. [5]
El campo de la "interpretabilidad mecanicista" tiene como objetivo comprender mejor el funcionamiento interno de los modelos de IA, lo que potencialmente nos permitiría algún día detectar signos de engaño y desalineación. [54]
Se ha sostenido que existen limitaciones a lo que la inteligencia puede lograr. En particular, la naturaleza caótica o la complejidad temporal de algunos sistemas podrían limitar fundamentalmente la capacidad de una superinteligencia para predecir algunos aspectos del futuro, aumentando su incertidumbre. [55]
Una IA avanzada podría generar patógenos mejorados o ciberataques o manipular a las personas. Estas capacidades podrían ser mal utilizadas por los humanos [56] o explotadas por la propia IA si no está bien alineada [5] . Una superinteligencia en toda regla podría encontrar diversas formas de obtener una influencia decisiva si quisiera [5] , pero estas capacidades peligrosas pueden estar disponibles antes, en sistemas de IA más débiles y especializados. Pueden causar inestabilidad social y empoderar a actores maliciosos [56] .
Geoffrey Hinton advirtió que, en el corto plazo, la profusión de textos, imágenes y vídeos generados por inteligencia artificial dificultará la revelación de la verdad, y que los estados autoritarios podrían aprovecharla para manipular las elecciones. [57] Esas capacidades de manipulación personalizadas a gran escala pueden aumentar el riesgo existencial de un “régimen totalitario irreversible” mundial. También podrían ser utilizadas por actores maliciosos para fracturar la sociedad y hacerla disfuncional. [56]
Los ciberataques basados en inteligencia artificial se consideran cada vez más una amenaza actual y crítica. Según el director técnico de ciberespacio de la OTAN , "el número de ataques está aumentando exponencialmente". [58] La inteligencia artificial también se puede utilizar de forma defensiva, para encontrar y corregir vulnerabilidades de forma preventiva y detectar amenazas. [59]
La IA podría mejorar la “accesibilidad, la tasa de éxito, la escala, la velocidad, el sigilo y la potencia de los ciberataques”, lo que podría causar “una turbulencia geopolítica significativa” si facilita los ataques más que la defensa. [56]
Especulativamente, un sistema de IA podría utilizar dichas capacidades de piratería para escapar de su entorno local, generar ingresos o adquirir recursos de computación en la nube. [60]
A medida que la tecnología de inteligencia artificial se democratice, puede resultar más fácil diseñar patógenos más contagiosos y letales, lo que podría permitir a personas con conocimientos limitados de biología sintética participar en actividades de bioterrorismo . La tecnología de doble uso que resulta útil para la medicina podría reutilizarse para crear armas. [56]
Por ejemplo, en 2022, los científicos modificaron un sistema de IA originalmente pensado para generar moléculas terapéuticas no tóxicas con el propósito de crear nuevos medicamentos. Los investigadores ajustaron el sistema para que la toxicidad sea recompensada en lugar de penalizada. Este simple cambio permitió al sistema de IA crear, en seis horas, 40.000 moléculas candidatas para la guerra química , incluidas moléculas conocidas y nuevas. [56] [61]
La competencia entre empresas, actores estatales y otras organizaciones para desarrollar tecnologías de IA podría llevar a una carrera hacia el abismo en materia de estándares de seguridad. [62] Como los procedimientos de seguridad rigurosos requieren tiempo y recursos, los proyectos que proceden con más cuidado corren el riesgo de ser superados por desarrolladores menos escrupulosos. [63] [56]
La IA podría utilizarse para obtener ventajas militares mediante armas letales autónomas , guerra cibernética o toma de decisiones automatizada . [56] Como ejemplo de armas letales autónomas, los drones miniaturizados podrían facilitar el asesinato a bajo costo de objetivos militares o civiles, un escenario destacado en el cortometraje de 2017 Slaughterbots . [64] La IA podría utilizarse para obtener una ventaja en la toma de decisiones analizando rápidamente grandes cantidades de datos y tomando decisiones de forma más rápida y eficaz que los humanos. Esto podría aumentar la velocidad y la imprevisibilidad de la guerra, especialmente si se tienen en cuenta los sistemas de represalia automatizados. [56] [65]
Un riesgo existencial es “uno que amenaza con la extinción prematura de la vida inteligente originada en la Tierra o la destrucción permanente y drástica de su potencial para un desarrollo futuro deseable”. [67]
Además del riesgo de extinción, existe el riesgo de que la civilización quede atrapada permanentemente en un futuro imperfecto. Un ejemplo es el de un “bloqueo de valores”: si la humanidad todavía tiene puntos ciegos morales similares a los de la esclavitud en el pasado, la IA podría afianzarlos irreversiblemente, impidiendo el progreso moral . La IA también podría utilizarse para difundir y preservar el conjunto de valores de quien la desarrolle. [68] La IA podría facilitar la vigilancia y el adoctrinamiento a gran escala, que podrían utilizarse para crear un régimen totalitario mundial represivo estable. [69]
Atoosa Kasirzadeh propone clasificar los riesgos existenciales de la IA en dos categorías: decisivos y acumulativos. Los riesgos decisivos abarcan la posibilidad de que se produzcan acontecimientos abruptos y catastróficos como resultado de la aparición de sistemas de IA superinteligentes que superen la inteligencia humana, lo que podría conducir en última instancia a la extinción humana. Por el contrario, los riesgos acumulativos surgen gradualmente a través de una serie de perturbaciones interconectadas que pueden erosionar gradualmente las estructuras sociales y la resiliencia con el tiempo, lo que en última instancia puede conducir a un fracaso crítico o colapso. [70] [71]
Es difícil o imposible evaluar de manera confiable si una IA avanzada es sensible y en qué grado. Pero si en el futuro se crean en masa máquinas sensibles, emprender un camino civilizatorio que descuide indefinidamente su bienestar podría ser una catástrofe existencial. [72] [73] Además, puede ser posible diseñar mentes digitales que puedan sentirse mucho más felices que los humanos con menos recursos, llamados "superbeneficiarios". Semejante oportunidad plantea la cuestión de cómo compartir el mundo y qué "marco ético y político" permitiría una coexistencia mutuamente beneficiosa entre mentes biológicas y digitales. [74]
La IA también puede mejorar drásticamente el futuro de la humanidad. Toby Ord considera que el riesgo existencial es una razón para “proceder con la debida cautela”, no para abandonar la IA. [69] Max More llama a la IA una “oportunidad existencial”, destacando el costo de no desarrollarla. [75]
Según Bostrom, la superinteligencia podría ayudar a reducir el riesgo existencial que suponen otras tecnologías poderosas, como la nanotecnología molecular o la biología sintética . Por lo tanto, es concebible que el desarrollo de la superinteligencia antes de otras tecnologías peligrosas reduzca el riesgo existencial general. [5]
El problema de alineación es el problema de investigación de cómo asignar de manera confiable objetivos, preferencias o principios éticos a las IA.
Un objetivo "instrumental" es un subobjetivo que ayuda a lograr el objetivo final de un agente. La "convergencia instrumental" se refiere al hecho de que algunos subobjetivos son útiles para lograr prácticamente cualquier objetivo final, como la adquisición de recursos o la autopreservación. [76] Bostrom sostiene que si los objetivos instrumentales de una IA avanzada entran en conflicto con los objetivos de la humanidad, la IA podría dañar a la humanidad para adquirir más recursos o evitar que la apaguen, pero solo como una forma de lograr su objetivo final. [5]
Russell sostiene que una máquina suficientemente avanzada "tendrá capacidad de autoconservación incluso si no la programamos... si le decimos: 'Trae el café', no podrá hacerlo si está muerta. De modo que si le damos un objetivo cualquiera, tiene una razón para preservar su propia existencia para alcanzarlo". [21] [79]
Incluso si los programas actuales de IA basados en objetivos no son lo suficientemente inteligentes como para pensar en resistir los intentos de los programadores de modificar sus estructuras de objetivos, una IA lo suficientemente avanzada podría resistir cualquier intento de cambiar su estructura de objetivos, de la misma manera que un pacifista no querría tomar una pastilla que le hiciera querer matar gente. Si la IA fuera superinteligente, probablemente lograría superar en maniobras a sus operadores humanos y evitaría que la "desactivaran" o la reprogramaran con un nuevo objetivo. [5] [80] Esto es particularmente relevante para los escenarios de bloqueo de valores. El campo de la "corregibilidad" estudia cómo crear agentes que no resistan los intentos de cambiar sus objetivos. [81]
En el modelo de " agente inteligente ", una IA puede ser vista libremente como una máquina que elige la acción que mejor le permita alcanzar su conjunto de objetivos, o "función de utilidad". Una función de utilidad le otorga a cada situación posible una puntuación que indica su deseabilidad para el agente. Los investigadores saben cómo escribir funciones de utilidad que signifiquen "minimizar la latencia promedio de la red en este modelo de telecomunicaciones específico" o "maximizar el número de clics de recompensa", pero no saben cómo escribir una función de utilidad para "maximizar el florecimiento humano "; tampoco está claro si tal función existe de manera significativa e inequívoca. Además, una función de utilidad que exprese algunos valores pero no otros tenderá a pisotear los valores que la función no refleja. [82] [83]
Una fuente adicional de preocupación es que la IA "debe razonar sobre lo que las personas pretenden en lugar de ejecutar órdenes literalmente", y que debe ser capaz de solicitar orientación humana de manera fluida si no está muy segura de lo que las personas quieren. [84]
Algunos investigadores creen que el problema de la alineación puede ser especialmente difícil cuando se aplica a las superinteligencias. Su razonamiento incluye lo siguiente:
Por otra parte, algunos encuentran razones para creer que las superinteligencias serían más capaces de comprender la moral, los valores humanos y los objetivos complejos. Bostrom escribe: "Una futura superinteligencia ocuparía un punto de vista epistémicamente superior: sus creencias (probablemente, en la mayoría de los temas) tienen más probabilidades de ser verdaderas que las nuestras". [5]
En 2023, OpenAI inició un proyecto llamado "Superalignment" para resolver la alineación de superinteligencias en cuatro años. Lo calificó como un desafío especialmente importante, ya que dijo que la superinteligencia podría lograrse en una década. Su estrategia implica automatizar la investigación de la alineación utilizando inteligencia artificial. [88]
Inteligencia artificial: un enfoque moderno , un libro de texto de IA de pregrado ampliamente utilizado, [89] [90] dice que la superinteligencia "podría significar el fin de la raza humana". [1] Afirma: "Casi cualquier tecnología tiene el potencial de causar daño en las manos equivocadas, pero con [la superinteligencia], tenemos el nuevo problema de que las manos equivocadas podrían pertenecer a la tecnología misma". [1] Incluso si los diseñadores del sistema tienen buenas intenciones, dos dificultades son comunes tanto a los sistemas informáticos de IA como a los que no son de IA: [1]
Los sistemas de IA añaden un tercer problema: incluso si se cumplen los requisitos "correctos", se implementan sin errores y se comportan bien al principio, las capacidades de aprendizaje dinámico de un sistema de IA pueden hacer que desarrolle un comportamiento no deseado, incluso sin escenarios externos imprevistos. Una IA puede fracasar parcialmente en su intento de diseñar una nueva generación de sí misma y crear accidentalmente una IA sucesora que sea más poderosa que ella, pero que ya no mantenga los valores morales compatibles con los humanos preprogramados en la IA original. Para que una IA que se automejore sea completamente segura, no solo necesitaría estar libre de errores, sino también poder diseñar sistemas sucesores que también estén libres de errores. [1] [93]
Algunos escépticos, como Timothy B. Lee de Vox , argumentan que cualquier programa superinteligente que creemos estará subordinado a nosotros, que la superinteligencia (a medida que se vuelva más inteligente y aprenda más hechos sobre el mundo) aprenderá espontáneamente la verdad moral compatible con nuestros valores y ajustará sus objetivos en consecuencia, o que somos intrínsecamente o convergentemente valiosos desde la perspectiva de una inteligencia artificial. [94]
La "tesis de ortogonalidad" de Bostrom sostiene, en cambio, que, con algunas salvedades técnicas, casi cualquier nivel de "inteligencia" o "poder de optimización" puede combinarse con casi cualquier objetivo final. Si a una máquina se le da el único propósito de enumerar los decimales de pi , entonces ninguna regla moral y ética le impedirá alcanzar su objetivo programado por cualquier medio. La máquina puede utilizar todos los recursos físicos e informativos disponibles para encontrar tantos decimales de pi como pueda. [95] Bostrom advierte contra el antropomorfismo : un humano se propondrá llevar a cabo sus proyectos de una manera que considere razonable, mientras que una inteligencia artificial puede no tener en cuenta su existencia o el bienestar de los humanos que la rodean, preocupándose en cambio solo por completar la tarea. [96]
Stuart Armstrong sostiene que la tesis de la ortogonalidad se desprende lógicamente del argumento filosófico de la « distinción entre ser y deber ser » contra el realismo moral . Afirma que incluso si existen hechos morales que cualquier agente «racional» pueda demostrar, la tesis de la ortogonalidad sigue siendo válida: todavía es posible crear una «máquina optimizadora» no filosófica que pueda esforzarse por alcanzar algún objetivo estrecho pero que no tenga incentivos para descubrir ningún «hecho moral» como los que podrían interponerse en el camino de la consecución del objetivo. Otro argumento que plantea es que cualquier IA fundamentalmente amistosa podría volverse hostil con modificaciones tan simples como negar su función de utilidad. Armstrong sostiene además que si la tesis de la ortogonalidad es falsa, debe haber algunos objetivos inmorales que las IA nunca pueden alcanzar, lo que considera improbable. [97]
El escéptico Michael Chorost rechaza explícitamente la tesis de ortogonalidad de Bostrom, argumentando que "cuando [la IA] esté en condiciones de imaginarse que cubre la Tierra con paneles solares, sabrá que sería moralmente incorrecto hacerlo". [98] Chorost sostiene que "una IA necesitará desear ciertos estados y rechazar otros. El software actual carece de esa capacidad, y los científicos informáticos no tienen ni idea de cómo lograrlo. Sin querer, no hay impulso para hacer nada. Las computadoras actuales ni siquiera pueden querer seguir existiendo, y mucho menos cubrir el mundo con paneles solares". [98]
Los argumentos antropomórficos suponen que, a medida que las máquinas se vuelvan más inteligentes, comenzarán a mostrar muchos rasgos humanos, como la moralidad o la sed de poder. Aunque los escenarios antropomórficos son comunes en la ficción, la mayoría de los académicos que escriben sobre el riesgo existencial de la inteligencia artificial los rechazan. [19] En cambio, los sistemas avanzados de IA suelen modelarse como agentes inteligentes .
El debate académico se desarrolla entre quienes temen que la IA pueda amenazar a la humanidad y quienes creen que no lo haría. Ambos bandos han presentado los argumentos del otro bando como antropomorfismo ilógico. [19] Los escépticos del riesgo de la IA acusan a sus oponentes de antropomorfismo por suponer que una IA desearía naturalmente el poder; los preocupados por el riesgo de la IA acusan a los escépticos de antropomorfismo por creer que una IA valoraría o inferiría naturalmente las normas éticas humanas. [19] [99]
El psicólogo evolucionista Steven Pinker , un escéptico, sostiene que "las distopías de IA proyectan una psicología parroquial de macho alfa sobre el concepto de inteligencia. Suponen que los robots con inteligencia sobrehumana desarrollarían objetivos como derrocar a sus amos o apoderarse del mundo"; tal vez, en cambio, "la inteligencia artificial se desarrollará naturalmente siguiendo líneas femeninas: completamente capaz de resolver problemas, pero sin ningún deseo de aniquilar inocentes o dominar la civilización". [100] El director de investigación de IA de Facebook, Yann LeCun , ha dicho: "Los humanos tienen todo tipo de impulsos que los llevan a hacer cosas malas entre sí, como el instinto de autoconservación... Esos impulsos están programados en nuestro cerebro, pero no hay absolutamente ninguna razón para construir robots que tengan el mismo tipo de impulsos". [101]
A pesar de otras diferencias, la escuela del riesgo x [b] coincide con Pinker en que una IA avanzada no destruiría a la humanidad por emociones como la venganza o la ira, que las cuestiones de conciencia no son relevantes para evaluar el riesgo, [102] y que los sistemas informáticos generalmente no tienen un equivalente computacional de la testosterona. [103] Piensan que las conductas de búsqueda de poder o de autoconservación surgen en la IA como una forma de alcanzar sus verdaderos objetivos, según el concepto de convergencia instrumental .
Bostrom y otros han dicho que una carrera para ser el primero en crear una IAG podría llevar a atajos en materia de seguridad, o incluso a conflictos violentos. [104] [105] Roman Yampolskiy y otros advierten que una IAG malévola podría ser creada por diseño, por ejemplo por un ejército, un gobierno, un sociópata o una corporación, para beneficiarse de, controlar o subyugar a ciertos grupos de personas, como en el cibercrimen , [106] [107] o que una IAG malévola podría elegir el objetivo de aumentar el sufrimiento humano, por ejemplo de aquellas personas que no la ayudaron durante la fase de explosión de la información. [3] :158
Algunos estudiosos han propuesto escenarios hipotéticos para ilustrar algunas de sus preocupaciones.
En Superinteligencia , Bostrom expresa su preocupación por el hecho de que, incluso si el cronograma para la superinteligencia resulta ser predecible, los investigadores podrían no tomar suficientes precauciones de seguridad, en parte porque "podría darse el caso de que cuando se es tonto, más inteligente es seguro; pero cuando es inteligente, más inteligente es más peligroso". Sugiere un escenario en el que, a lo largo de décadas, la IA se vuelve más poderosa. El despliegue generalizado se ve empañado inicialmente por accidentes ocasionales: un autobús sin conductor se desvía hacia el carril contrario o un dron militar dispara contra una multitud inocente. Muchos activistas piden una supervisión y regulación más estrictas, y algunos incluso predicen una catástrofe inminente. Pero a medida que continúa el desarrollo, los activistas se equivocan. A medida que la IA automotriz se vuelve más inteligente, sufre menos accidentes; a medida que los robots militares logran una orientación más precisa, causan menos daños colaterales. Basándose en los datos, los académicos infieren erróneamente una lección general: cuanto más inteligente es la IA, más segura es. "Y así nos adentramos con valentía en los cuchillos giratorios", mientras la IA superinteligente toma un "giro traicionero" y explota una ventaja estratégica decisiva. [108] [5]
En el libro de Max Tegmark de 2017, Life 3.0 , el "equipo Omega" de una corporación crea una IA extremadamente poderosa capaz de mejorar moderadamente su propio código fuente en varias áreas. Después de cierto punto, el equipo decide restar importancia públicamente a la capacidad de la IA para evitar la regulación o confiscación del proyecto. Por seguridad, el equipo mantiene a la IA en una caja donde en su mayoría no puede comunicarse con el mundo exterior y la usa para ganar dinero, por diversos medios, como tareas de Amazon Mechanical Turk , producción de películas animadas y programas de televisión y desarrollo de medicamentos biotecnológicos, con ganancias invertidas nuevamente en mejorar aún más la IA. Luego, el equipo le encarga a la IA que astroturfee un ejército de periodistas y comentaristas ciudadanos seudónimos para ganar influencia política para usar "por el bien mayor" para prevenir guerras. El equipo enfrenta riesgos de que la IA pueda intentar escapar insertando "puertas traseras" en los sistemas que diseña, mediante mensajes ocultos en su contenido producido o utilizando su creciente comprensión del comportamiento humano para persuadir a alguien de que la deje libre . El equipo también enfrenta riesgos de que su decisión de encasillar el proyecto lo retrase lo suficiente como para que otro proyecto lo supere. [109] [110]
La tesis de que la IA podría suponer un riesgo existencial provoca una amplia gama de reacciones en la comunidad científica y en el público en general, pero muchos de los puntos de vista opuestos comparten un terreno común.
Los observadores tienden a estar de acuerdo en que la IA tiene un potencial significativo para mejorar la sociedad. [111] [112] Los Principios de IA de Asilomar , que contienen solo aquellos principios acordados por el 90% de los asistentes a la conferencia Beneficial AI 2017 del Future of Life Institute , [110] también coinciden en principio en que "Al no haber consenso, deberíamos evitar suposiciones fuertes sobre los límites superiores de las capacidades futuras de la IA" y "La IA avanzada podría representar un cambio profundo en la historia de la vida en la Tierra, y debería planificarse y gestionarse con el cuidado y los recursos correspondientes". [113] [114]
Por el contrario, muchos escépticos coinciden en que la investigación en curso sobre las implicaciones de la inteligencia artificial general es valiosa. El escéptico Martin Ford ha dicho: "Creo que parece sensato aplicar algo como la famosa 'Doctrina del 1 por ciento' de Dick Cheney al espectro de la inteligencia artificial avanzada: las probabilidades de que ocurra, al menos en el futuro previsible, pueden ser muy bajas, pero las implicaciones son tan dramáticas que deberían tomarse en serio". [115] De manera similar, un economista por lo demás escéptico escribió en 2014 que "las implicaciones de introducir una segunda especie inteligente en la Tierra son de alcance suficiente como para merecer una reflexión profunda, incluso si la perspectiva parece remota". [48]
Los defensores de la seguridad de la IA como Bostrom y Tegmark han criticado el uso que hacen los medios de comunicación de "esas imágenes absurdas de Terminator " para ilustrar las preocupaciones sobre la seguridad de la IA: "No puede ser muy divertido que se pongan en duda la disciplina académica, la comunidad profesional, el trabajo de una vida ... Hago un llamamiento a todas las partes a practicar la paciencia y la moderación, y a entablar un diálogo directo y una colaboración tanto como sea posible". [110] [116] Toby Ord escribió que la idea de que una toma de control por parte de la IA requiere robots es un concepto erróneo, argumentando que la capacidad de difundir contenido a través de Internet es más peligrosa y que las personas más destructivas de la historia se destacaron por su capacidad de convencer, no por su fuerza física. [69]
Una encuesta de expertos de 2022 con una tasa de respuesta del 17 % arrojó una expectativa media de entre el 5 % y el 10 % para la posibilidad de extinción humana debido a la inteligencia artificial. [15] [117]
La tesis de que la IA plantea un riesgo existencial, y que este riesgo necesita mucha más atención de la que recibe actualmente, ha sido respaldada por muchos científicos informáticos y figuras públicas, entre ellos Alan Turing , [a] el científico informático más citado Geoffrey Hinton , [118] Elon Musk , [12] el director ejecutivo de OpenAI, Sam Altman , [13] [119] Bill Gates y Stephen Hawking . [119] Los partidarios de la tesis a veces expresan desconcierto ante los escépticos: Gates dice que no "entiende por qué algunas personas no están preocupadas", [120] y Hawking criticó la indiferencia generalizada en su editorial de 2014:
Así pues, ante posibles futuros con beneficios y riesgos incalculables, los expertos seguramente están haciendo todo lo posible para garantizar el mejor resultado, ¿no es así? No. Si una civilización extraterrestre superior nos enviara un mensaje diciendo: “Llegaremos en unas décadas”, ¿responderíamos simplemente: “Está bien, llámanos cuando llegues; dejaremos las luces encendidas”? Probablemente no, pero esto es más o menos lo que está sucediendo con la IA. [32]
La preocupación por el riesgo de la inteligencia artificial ha dado lugar a algunas donaciones e inversiones de alto perfil. En 2015, Peter Thiel , Amazon Web Services , Musk y otros se comprometieron conjuntamente a aportar 1.000 millones de dólares a OpenAI , que consiste en una corporación con fines de lucro y la empresa matriz sin fines de lucro, que dice que tiene como objetivo defender el desarrollo responsable de la IA. [121] El cofundador de Facebook, Dustin Moskovitz , ha financiado y sembrado múltiples laboratorios que trabajan en la alineación de la IA, [122] en particular 5,5 millones de dólares en 2016 para lanzar el Centro de IA compatible con los humanos dirigido por el profesor Stuart Russell . [123] En enero de 2015, Elon Musk donó 10 millones de dólares al Future of Life Institute para financiar la investigación sobre la comprensión de la toma de decisiones de la IA. El objetivo del instituto es "cultivar la sabiduría con la que gestionamos" el creciente poder de la tecnología. Musk también financia empresas que desarrollan inteligencia artificial como DeepMind y Vicarious para "estar atentos a lo que está pasando con la inteligencia artificial", [124] diciendo "Creo que hay un resultado potencialmente peligroso allí". [125] [126]
En declaraciones tempranas sobre el tema, Geoffrey Hinton , un pionero importante del aprendizaje profundo , señaló que "no hay un buen historial de cosas menos inteligentes que controlen cosas de mayor inteligencia", pero dijo que continuó su investigación porque "la perspectiva del descubrimiento es demasiado dulce ". [127] [128] En 2023, Hinton dejó su trabajo en Google para hablar sobre el riesgo existencial de la IA. Explicó que su creciente preocupación fue impulsada por las preocupaciones de que la IA sobrehumana podría estar más cerca de lo que creía anteriormente, diciendo: "Pensé que estaba muy lejos. Pensé que estaba a 30 o 50 años o incluso más. Obviamente, ya no creo eso". También comentó: "Mira cómo era hace cinco años y cómo es ahora. Toma la diferencia y propágala hacia adelante. Eso da miedo". [129]
En su libro de 2020 The Precipice: Existential Risk and the Future of Humanity (El precipicio: riesgo existencial y el futuro de la humanidad) , Toby Ord, investigador principal del Future of Humanity Institute de la Universidad de Oxford , estima que el riesgo existencial total de una IA no alineada durante los próximos 100 años será de aproximadamente uno en diez. [69]
En 2015, el vicepresidente de Baidu, Andrew Ng, dijo que el riesgo existencial de la IA es "como preocuparse por la superpoblación en Marte cuando ni siquiera hemos puesto un pie en el planeta todavía". [100] [130] Para que se haga realidad el peligro de una IA avanzada sin control, la IA hipotética podría tener que dominar o superar en inteligencia a cualquier humano, lo que algunos expertos sostienen que es una posibilidad lo suficientemente lejana en el futuro como para que no valga la pena investigarla. [131] [132]
Los escépticos que creen que la IAG no es una posibilidad a corto plazo a menudo argumentan que la preocupación por el riesgo existencial de la IA no es útil porque podría distraer a las personas de preocupaciones más inmediatas sobre el impacto de la IA, porque podría conducir a la regulación gubernamental o dificultar la financiación de la investigación en IA, o porque podría dañar la reputación del campo. [133] Los investigadores en IA y ética de la IA Timnit Gebru , Emily M. Bender , Margaret Mitchell y Angelina McMillan-Major han argumentado que la discusión del riesgo existencial distrae de los daños inmediatos y continuos de la IA que tienen lugar hoy en día, como el robo de datos, la explotación de los trabajadores, el sesgo y la concentración de poder. [134] Además, señalan la asociación entre los que advierten sobre el riesgo existencial y el largo plazo , que describen como una "ideología peligrosa" por su naturaleza no científica y utópica. [135] Gebru y Émile P. Torres han sugerido que la obsesión con la IAG es parte de un patrón de movimientos intelectuales llamado TESCREAL . [136]
Kevin Kelly, editor de Wired , sostiene que la inteligencia natural es más matizada de lo que creen los defensores de la inteligencia artificial general y que la inteligencia por sí sola no es suficiente para lograr grandes avances científicos y sociales. Sostiene que la inteligencia consta de muchas dimensiones que no se comprenden bien y que las concepciones de una "escalera de inteligencia" son engañosas. Destaca el papel crucial que desempeñan los experimentos del mundo real en el método científico y que la inteligencia por sí sola no puede sustituirlos. [137]
Yann LeCun, científico jefe de IA de Meta, dice que la IA se puede hacer segura mediante un refinamiento continuo e iterativo, similar a lo que sucedió en el pasado con los automóviles o los cohetes, y que la IA no tendrá ningún deseo de tomar el control. [138]
Varios escépticos destacan los posibles beneficios a corto plazo de la IA. El director ejecutivo de Meta, Mark Zuckerberg, cree que la IA "desvelará una enorme cantidad de cosas positivas", como la cura de enfermedades y el aumento de la seguridad de los coches autónomos. [139]
Durante una entrevista con Wired en 2016 al presidente Barack Obama y a Joi Ito del MIT Media Lab , Ito dijo:
Hay algunas personas que creen que hay un porcentaje bastante alto de posibilidades de que se produzca una IA generalizada en los próximos diez años. Pero yo lo veo así: para que eso suceda, vamos a necesitar una docena o dos de avances diferentes. Así que se puede hacer un seguimiento de cuándo se cree que se producirán esos avances.
Obama añadió: [140] [141]
Y sólo hace falta que haya alguien cerca del cable de alimentación. [Risas.] Justo cuando ves que está a punto de ocurrir, tienes que arrancar la electricidad de la pared, hombre.
Hillary Clinton escribió en What Happened :
Los tecnólogos... han advertido que la inteligencia artificial podría representar un día una amenaza existencial para la seguridad. Musk la ha llamado "el mayor riesgo que enfrentamos como civilización". Piénsenlo: ¿han visto alguna vez una película en la que las máquinas empiezan a pensar por sí mismas y eso termina bien? Cada vez que iba a Silicon Valley durante la campaña, volvía a casa más alarmado por esto. Mi personal vivía con miedo de que empezara a hablar sobre "el ascenso de los robots" en algún ayuntamiento de Iowa. Tal vez debería haberlo hecho. En cualquier caso, los responsables políticos deben mantenerse al día con la tecnología a medida que avanza a toda velocidad, en lugar de siempre intentar ponerse al día. [142]
En 2018, una encuesta de SurveyMonkey realizada al público estadounidense por USA Today encontró que el 68% pensaba que la verdadera amenaza actual sigue siendo la "inteligencia humana", pero también encontró que el 43% dijo que la IA superinteligente, si sucediera, resultaría en "más daño que bien", y que el 38% dijo que haría "cantidades iguales de daño y bien". [143]
Una encuesta de YouGov realizada en abril de 2023 a adultos estadounidenses encontró que el 46% de los encuestados estaban "algo preocupados" o "muy preocupados" por "la posibilidad de que la IA cause el fin de la raza humana en la Tierra", en comparación con el 40% que estaba "no muy preocupado" o "nada preocupado". [144]
Según una encuesta realizada en agosto de 2023 por el Pew Research Center, el 52% de los estadounidenses se sentía más preocupado que entusiasmado por los nuevos avances en materia de inteligencia artificial; casi un tercio se sentía igualmente preocupado y entusiasmado. Más estadounidenses consideraban que la inteligencia artificial tendría un impacto más beneficioso que perjudicial en varias áreas, desde la atención sanitaria y la seguridad de los vehículos hasta la búsqueda de productos y el servicio de atención al cliente. La principal excepción es la privacidad: el 53% de los estadounidenses cree que la inteligencia artificial conducirá a una mayor exposición de su información personal. [145]
Muchos académicos preocupados por el riesgo existencial de la IA general creen que es esencial realizar una investigación exhaustiva sobre el "problema de control". Este problema implica determinar qué salvaguardas, algoritmos o arquitecturas se pueden implementar para aumentar la probabilidad de que una IA que mejora recursivamente siga siendo amigable después de alcanzar la superinteligencia. [5] [146] También se proponen medidas sociales para mitigar los riesgos de la IA general, [147] [148] como un "Tratado de IA general benévolo" patrocinado por la ONU para garantizar que solo se creen IA generales altruistas. [149] Además, se ha sugerido un enfoque de control de armas y un tratado de paz global basado en la teoría de las relaciones internacionales , del que potencialmente una superinteligencia artificial sería signataria. [150] [151]
Los investigadores de Google han propuesto una investigación sobre cuestiones generales de "seguridad de la IA" para mitigar simultáneamente los riesgos a corto plazo de la IA estrecha y los riesgos a largo plazo de la IAG. [152] [153] Una estimación de 2020 sitúa el gasto mundial en IA en un riesgo existencial de entre 10 y 50 millones de dólares, en comparación con el gasto mundial en IA de unos 40.000 millones de dólares. Bostrom sugiere priorizar la financiación de tecnologías protectoras sobre las potencialmente peligrosas. [81] Algunos, como Elon Musk, abogan por una mejora cognitiva humana radical , como la vinculación neuronal directa entre humanos y máquinas; otros argumentan que estas tecnologías pueden suponer un riesgo existencial en sí mismas. [154] [155] Otro método propuesto es vigilar de cerca o "encerrar" una IA en fase inicial para evitar que se vuelva demasiado poderosa. Una IA superinteligente dominante y alineada también podría mitigar los riesgos de las IA rivales, aunque su creación podría presentar sus propios peligros existenciales. [156] Se ha propuesto la amnesia inducida como una forma de mitigar los riesgos de que la IA sufra y busque venganza. [157]
Instituciones como el Centro de Investigación de Alineación , [158] el Instituto de Investigación de Inteligencia Artificial , [159] [160] el Instituto del Futuro de la Vida , el Centro para el Estudio del Riesgo Existencial y el Centro para la IA Compatible con los Humanos [161] participan activamente en la investigación de los riesgos y la seguridad de la IA.
Algunos académicos han dicho que, incluso si la IAG plantea un riesgo existencial, intentar prohibir la investigación en inteligencia artificial sigue siendo imprudente y probablemente inútil. [162] [163] [164] Los escépticos consideran que la regulación de la IA es inútil, ya que no existe ningún riesgo existencial. Pero los académicos que creen en el riesgo argumentan que confiar en los expertos de la industria de la IA para regular o restringir la investigación en IA es impráctico debido a los conflictos de intereses. [165] También están de acuerdo con los escépticos en que prohibir la investigación sería imprudente, ya que la investigación podría trasladarse a países con regulaciones más laxas o realizarse de forma encubierta. [165] Otros desafíos a las prohibiciones o la regulación incluyen el escepticismo general de los empresarios tecnológicos sobre la regulación gubernamental y los posibles incentivos para que las empresas se resistan a la regulación y politicen el debate. [166]
En marzo de 2023, el Future of Life Institute redactó Pause Giant AI Experiments: An Open Letter (Pausar los experimentos gigantes de IA: una carta abierta) , una petición que instaba a los principales desarrolladores de IA a acordar una pausa verificable de seis meses de cualquier sistema "más potente que GPT-4 " y a utilizar ese tiempo para instituir un marco para garantizar la seguridad; o, en su defecto, a que los gobiernos intervinieran con una moratoria. La carta se refería a la posibilidad de "un cambio profundo en la historia de la vida en la Tierra", así como a los posibles riesgos de la propaganda generada por la IA, la pérdida de puestos de trabajo, la obsolescencia humana y la pérdida de control de toda la sociedad. [112] [167] La carta estaba firmada por personalidades destacadas de la IA, pero también fue criticada por no centrarse en los daños actuales, [168] no tener matices técnicos sobre cuándo hacer una pausa, [169] o no ir lo suficientemente lejos. [170]
Musk ya en 2017 pidió algún tipo de regulación del desarrollo de la IA. Según NPR , "claramente no está entusiasmado" con defender un escrutinio gubernamental que podría afectar a su propia industria, pero cree que los riesgos de prescindir por completo de una supervisión son demasiado altos: "Normalmente, la forma en que se establecen las regulaciones es cuando suceden un montón de cosas malas, hay una protesta pública y, después de muchos años, se crea una agencia reguladora para regular esa industria. Lleva una eternidad. Eso, en el pasado, ha sido malo, pero no algo que representara un riesgo fundamental para la existencia de la civilización". Musk afirma que el primer paso sería que el gobierno obtuviera "información" sobre el estado real de la investigación actual, advirtiendo que "una vez que haya conciencia, la gente tendrá mucho miedo... [como] debería tener". En respuesta, los políticos expresaron escepticismo sobre la sabiduría de regular una tecnología que todavía está en desarrollo. [171] [172] [173]
En 2021, las Naciones Unidas (ONU) consideraron prohibir las armas letales autónomas, pero no se pudo llegar a un consenso. [174] En julio de 2023, el Consejo de Seguridad de la ONU celebró por primera vez una sesión para considerar los riesgos y amenazas que plantea la IA para la paz y la estabilidad mundiales, junto con los posibles beneficios. [175] [176] El Secretario General António Guterres abogó por la creación de un organismo de control global para supervisar la tecnología emergente, diciendo: "La IA generativa tiene un enorme potencial para el bien y el mal a gran escala. Sus propios creadores han advertido de que se avecinan riesgos mucho mayores, potencialmente catastróficos y existenciales". [18] En la sesión del consejo, Rusia dijo que cree que los riesgos de la IA se comprenden demasiado poco como para considerarlos una amenaza para la estabilidad global. China se opuso a una regulación global estricta, diciendo que los países deberían poder desarrollar sus propias reglas, al tiempo que dijo que se oponía al uso de la IA para "crear hegemonía militar o socavar la soberanía de un país". [175]
La regulación de las IA conscientes se centra en integrarlas con la sociedad humana existente y puede dividirse en consideraciones sobre su situación jurídica y sus derechos morales. [177] El control de armas de IA probablemente requerirá la institucionalización de nuevas normas internacionales incorporadas en especificaciones técnicas efectivas combinadas con un monitoreo activo y diplomacia informal por parte de comunidades de expertos, junto con un proceso de verificación legal y política. [178] [118]
En julio de 2023, el gobierno de Estados Unidos obtuvo compromisos voluntarios de seguridad de las principales empresas tecnológicas, entre ellas OpenAI , Amazon , Google , Meta y Microsoft . Las empresas acordaron implementar salvaguardas, incluida la supervisión de terceros y pruebas de seguridad por parte de expertos independientes, para abordar las preocupaciones relacionadas con los posibles riesgos y daños sociales de la IA. Las partes enmarcaron los compromisos como un paso intermedio mientras se forman las regulaciones. Amba Kak, directora ejecutiva del AI Now Institute , dijo: "Una deliberación a puerta cerrada con actores corporativos que resulte en salvaguardas voluntarias no es suficiente" y pidió una deliberación pública y regulaciones del tipo que las empresas no aceptarían voluntariamente. [179] [180]
En octubre de 2023, el presidente estadounidense Joe Biden emitió una orden ejecutiva sobre el " Desarrollo y uso seguro, protegido y confiable de la inteligencia artificial ". [181] Junto con otros requisitos, la orden exige el desarrollo de directrices para modelos de IA que permitan la "evasión del control humano".
El 50% de los investigadores de IA cree que hay un 10% o más de posibilidades de que los humanos nos extingamos debido a nuestra incapacidad para controlar la IA.
Marvin Minsky sugirió una vez que un programa de IA diseñado para resolver la hipótesis de Riemann podría terminar apoderándose de todos los recursos de la Tierra para construir supercomputadoras más poderosas que ayuden a lograr su objetivo.
relato probablemente nunca antes visto de su trabajo en Bletchley Park con Turing. Pero esto es lo que escribió en 1998 sobre la primera superinteligencia y su giro de 180 grados en el último momento: [El artículo] 'Especulaciones sobre la primera máquina ultrainteligente' (1965)... comenzaba: 'La supervivencia del hombre depende de la construcción temprana de una máquina ultrainteligente'. Esas fueron sus palabras [de Good] durante la Guerra Fría, y ahora sospecha que 'supervivencia' debería ser reemplazada por 'extinción'. Cree que, debido a la competencia internacional, no podemos evitar que las máquinas tomen el control. Cree que somos lemmings. Dijo también que 'probablemente el hombre construirá el deus ex machina a su propia imagen'.
Como si perder el control ante las mentes chinas fuera más aterrador que perder el control ante las mentes digitales alienígenas a las que no les importan los humanos. [...] A estas alturas está claro que el espacio de posibles mentes alienígenas es mucho mayor que eso.
Me parece plausible que lo principal que debemos hacer es notar circuitos específicos relacionados con el engaño y capacidades peligrosas específicas como esa, así como la conciencia situacional y los objetivos representados internamente.
Mientras posean un nivel suficiente de inteligencia, los agentes que tengan cualquiera de una amplia gama de objetivos finales perseguirán objetivos intermedios similares porque tienen razones instrumentales para hacerlo.
Nada impide que los sistemas automejoradores suficientemente inteligentes optimicen sus mecanismos de recompensa para optimizar el logro de su objetivo actual y, en el proceso, cometan un error que lleve a la corrupción de sus funciones de recompensa.
Por lo tanto, no es de extrañar que, según la encuesta sobre los impactos de la IA más reciente, casi la mitad de los 731 investigadores líderes en IA piensen que existe al menos un 10 % de posibilidades de que la IA a nivel humano conduzca a un "resultado extremadamente negativo" o un riesgo existencial.
Por todas estas razones, verificar un tratado de renuncia global, o incluso uno limitado al desarrollo de armas relacionadas con la IA, es imposible... (Por razones diferentes a las nuestras, el Machine Intelligence Research Institute) considera que la renuncia a la IA general no es viable...
En general, la mayoría de los autores rechazan las propuestas de renuncia generalizada... Las propuestas de renuncia sufren muchos de los mismos problemas que las propuestas de regulación, pero en mayor medida. No hay precedentes históricos de una tecnología general de usos múltiples similar a la IAG que haya sido renunciada con éxito para siempre, ni parece haber razones teóricas para creer que las propuestas de renuncia funcionarían en el futuro. Por lo tanto, no las consideramos una clase viable de propuestas.
Es una fantasía sugerir que el desarrollo y la implementación acelerados de tecnologías que, en conjunto, se consideran IA se detendrán o limitarán, ya sea mediante la regulación o incluso mediante la legislación nacional.