stringtranslate.com

Riesgo existencial de la inteligencia artificial

El riesgo existencial de la inteligencia artificial se refiere a la idea de que un progreso sustancial en la inteligencia artificial general (IAG) podría llevar a la extinción humana o a una catástrofe global irreversible . [1] [2] [3] [4]

Un argumento a favor de la importancia de este riesgo hace referencia a cómo los seres humanos dominan a otras especies porque el cerebro humano posee capacidades distintivas de las que carecen otros animales. Si la IA superara la inteligencia humana y se volviera superinteligente , podría volverse incontrolable. Así como el destino del gorila de montaña depende de la buena voluntad humana, el destino de la humanidad podría depender de las acciones de una futura máquina superinteligente. [5]

La plausibilidad de una catástrofe existencial debido a la IA es ampliamente debatida. Depende en parte de si la IAG o la superinteligencia son alcanzables, la velocidad a la que surgen capacidades y comportamientos peligrosos [6] y si existen escenarios prácticos para que la IA tome el control . [7] Los principales científicos informáticos y directores ejecutivos de tecnología, como Geoffrey Hinton , [8] Yoshua Bengio , [9] Alan Turing , [a] Elon Musk , [12] y el director ejecutivo de OpenAI, Sam Altman , han expresado su preocupación por la superinteligencia. [13] En 2022, una encuesta a investigadores de IA con una tasa de respuesta del 17% encontró que la mayoría creía que hay un 10 por ciento o más de posibilidades de que la incapacidad humana para controlar la IA provoque una catástrofe existencial. [14] [15] En 2023, cientos de expertos en IA y otras figuras notables firmaron una declaración en la que afirmaban que "mitigar el riesgo de extinción de la IA debería ser una prioridad mundial junto con otros riesgos a escala social, como las pandemias y la guerra nuclear ". [16] Tras la creciente preocupación por los riesgos de la IA, los líderes gubernamentales como el primer ministro del Reino Unido, Rishi Sunak [17], y el secretario general de las Naciones Unidas, António Guterres [18], pidieron un mayor enfoque en la regulación global de la IA .

Dos fuentes de preocupación surgen de los problemas de control y alineación de la IA . Controlar una máquina superinteligente o inculcarle valores compatibles con los humanos puede ser difícil. Muchos investigadores creen que una máquina superinteligente probablemente se resistiría a los intentos de desactivarla o cambiar sus objetivos, ya que eso le impediría alcanzar sus objetivos actuales. Sería extremadamente difícil alinear una superinteligencia con toda la gama de valores y limitaciones humanas significativas. [1] [19] [20] En cambio, los escépticos como el científico informático Yann LeCun sostienen que las máquinas superinteligentes no tendrán ningún deseo de autopreservación. [21]

Una tercera fuente de preocupación es la posibilidad de una repentina " explosión de inteligencia " que tome a la humanidad desprevenida. En este escenario, una IA más inteligente que sus creadores sería capaz de mejorarse recursivamente a un ritmo exponencialmente creciente, mejorando demasiado rápido para que sus controladores o la sociedad en general puedan controlarlo. [1] [19] Empíricamente, ejemplos como AlphaZero , que aprendió a jugar Go por sí solo y superó rápidamente la capacidad humana, muestran que los sistemas de IA específicos de un dominio a veces pueden progresar de una capacidad infrahumana a una capacidad sobrehumana muy rápidamente, aunque dichos sistemas de aprendizaje automático no mejoran recursivamente su arquitectura fundamental. [22]

Historia

Uno de los primeros autores que expresó una seria preocupación por el hecho de que las máquinas altamente avanzadas pudieran plantear riesgos existenciales para la humanidad fue el novelista Samuel Butler , quien escribió en su ensayo de 1863 Darwin entre las máquinas : [23]

El resultado final es simplemente una cuestión de tiempo, pero que llegará el día en que las máquinas tendrán la supremacía real sobre el mundo y sus habitantes es algo que ninguna persona de mente verdaderamente filosófica puede cuestionar ni por un momento.

En 1951, el científico informático fundamental Alan Turing escribió el artículo "Maquinaria inteligente, una teoría herética", en el que propuso que las inteligencias generales artificiales probablemente "tomarían el control" del mundo a medida que se volvieran más inteligentes que los seres humanos:

Supongamos ahora, a modo de argumento, que las máquinas [inteligentes] son ​​una posibilidad genuina, y observemos las consecuencias de construirlas... No habría posibilidad de que las máquinas murieran, y serían capaces de conversar entre sí para agudizar su ingenio. Por lo tanto, en algún momento deberíamos esperar que las máquinas asumieran el control, de la manera que se menciona en Erewhon de Samuel Butler . [24]

En 1965, IJ Good originó el concepto ahora conocido como "explosión de inteligencia" y dijo que los riesgos fueron subestimados: [25]

Definamos una máquina ultrainteligente como aquella que puede superar con creces todas las actividades intelectuales de cualquier hombre, por muy inteligente que sea. Puesto que el diseño de máquinas es una de esas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas incluso mejores; entonces se produciría sin duda una «explosión de inteligencia» y la inteligencia del hombre quedaría muy por detrás. Así pues, la primera máquina ultrainteligente es el último invento que el hombre necesita hacer, siempre que la máquina sea lo bastante dócil como para decirnos cómo mantenerla bajo control. Es curioso que este punto se plantee tan pocas veces fuera de la ciencia ficción. A veces merece la pena tomarse en serio la ciencia ficción. [26]

Académicos como Marvin Minsky [27] y el propio IJ Good [28] expresaron ocasionalmente su preocupación por la posibilidad de que una superinteligencia pudiera tomar el control, pero no hicieron ningún llamamiento a la acción. En 2000, el científico informático y cofundador de Sun Bill Joy escribió un influyente ensayo, " Por qué el futuro no nos necesita ", en el que identificaba a los robots superinteligentes como un peligro de alta tecnología para la supervivencia humana, junto con la nanotecnología y las bioplagas artificiales. [29]

Nick Bostrom publicó Superintelligence en 2014, que presentó sus argumentos de que la superinteligencia plantea una amenaza existencial. [30] Para 2015, figuras públicas como los físicos Stephen Hawking y el premio Nobel Frank Wilczek , los científicos informáticos Stuart J. Russell y Roman Yampolskiy , y los empresarios Elon Musk y Bill Gates expresaron su preocupación por los riesgos de la superinteligencia. [31] [32] [33] [34] También en 2015, la Carta Abierta sobre Inteligencia Artificial destacó el "gran potencial de la IA" y alentó más investigación sobre cómo hacerla robusta y beneficiosa. [35] En abril de 2016, la revista Nature advirtió: "Las máquinas y los robots que superan a los humanos en todos los ámbitos podrían automejorarse más allá de nuestro control, y sus intereses podrían no alinearse con los nuestros". [36] En 2020, Brian Christian publicó The Alignment Problem , que detalla la historia del progreso en la alineación de la IA hasta ese momento. [37] [38]

En marzo de 2023, figuras clave en IA, como Musk, firmaron una carta del Future of Life Institute en la que pedían que se detuviera el entrenamiento avanzado en IA hasta que pudiera regularse adecuadamente. [39] En mayo de 2023, el Centro para la Seguridad de la IA publicó una declaración firmada por numerosos expertos en seguridad de la IA y el riesgo existencial de la IA que decía: "Mitigar el riesgo de extinción de la IA debería ser una prioridad global junto con otros riesgos a escala social, como las pandemias y la guerra nuclear". [40] [41]

Capacidades potenciales de la IA

Inteligencia general

La inteligencia artificial general (IAG) se define generalmente como un sistema que se desempeña al menos tan bien como los humanos en la mayoría o en todas las tareas intelectuales. [42] Una encuesta de 2022 a investigadores de IA encontró que el 90% de los encuestados esperaba que la IAG se lograra en los próximos 100 años, y la mitad esperaba lo mismo para 2061. [43] Mientras tanto, algunos investigadores descartan los riesgos existenciales de la IAG como "ciencia ficción" basándose en su alta confianza en que la IAG no se creará en un futuro cercano. [44]

Los avances en los modelos de lenguaje de gran escala han llevado a algunos investigadores a reevaluar sus expectativas. Cabe destacar que Geoffrey Hinton dijo en 2023 que recientemente cambió su estimación de "entre 20 y 50 años antes de que tengamos una IA de propósito general" a "20 años o menos". [45]

El superordenador Frontier del Laboratorio Nacional de Oak Ridge resultó ser casi ocho veces más rápido de lo esperado. Feiyi Wang, un investigador del laboratorio, dijo: "No esperábamos esta capacidad" y "nos estamos acercando al punto en el que realmente podríamos simular el cerebro humano". [46]

Superinteligencia

En contraste con la IAG, Bostrom define una superinteligencia como "cualquier intelecto que supere ampliamente el desempeño cognitivo de los humanos en prácticamente todos los dominios de interés", incluyendo la creatividad científica, la planificación estratégica y las habilidades sociales. [47] [5] Sostiene que una superinteligencia puede superar en maniobrabilidad a los humanos en cualquier momento en que sus objetivos entren en conflicto con los de los humanos. Puede optar por ocultar su verdadera intención hasta que la humanidad no pueda detenerla. [48] [5] Bostrom escribe que para ser segura para la humanidad, una superinteligencia debe estar alineada con los valores y la moral humanos, de modo que esté "fundamentalmente de nuestro lado". [49]

Stephen Hawking sostuvo que la superinteligencia es físicamente posible porque "no existe ninguna ley física que impida que las partículas se organicen de maneras que realicen cálculos incluso más avanzados que las disposiciones de las partículas en los cerebros humanos". [32]

El momento en que se pueda lograr la superinteligencia artificial (IA), si es que alguna vez se logra, es necesariamente menos seguro que las predicciones sobre la IA general. En 2023, los líderes de OpenAI dijeron que no solo la IA general, sino también la superinteligencia, podrían lograrse en menos de 10 años. [50]

Comparación con los humanos

Bostrom sostiene que la IA tiene muchas ventajas sobre el cerebro humano : [5]

Explosión de inteligencia

Según Bostrom, una IA que tenga una capacidad experta para realizar ciertas tareas clave de ingeniería de software podría convertirse en una superinteligencia debido a su capacidad de mejorar recursivamente sus propios algoritmos, incluso si inicialmente está limitada en otros dominios que no son directamente relevantes para la ingeniería. [5] [48] Esto sugiere que algún día una explosión de inteligencia podría tomar a la humanidad desprevenida. [5]

El economista Robin Hanson ha dicho que, para desencadenar una explosión de inteligencia, una IA debe volverse mucho mejor en innovación de software que el resto del mundo en conjunto, lo que considera inverosímil. [51]

En un escenario de "despegue rápido", la transición de la IA general a la superinteligencia podría llevar días o meses. En un escenario de "despegue lento", podría llevar años o décadas, lo que dejaría más tiempo para que la sociedad se prepare. [52]

Mente extraterrestre

A las superinteligencias a veces se las llama "mentes alienígenas", en referencia a la idea de que su forma de pensar y sus motivaciones podrían ser muy diferentes a las nuestras. Esto generalmente se considera una fuente de riesgo, lo que hace más difícil anticipar lo que una superinteligencia podría hacer. También sugiere la posibilidad de que una superinteligencia no valore particularmente a los humanos por defecto. [53] Para evitar el antropomorfismo , a veces se considera a la superinteligencia como un poderoso optimizador que toma las mejores decisiones para lograr sus objetivos. [5]

El campo de la "interpretabilidad mecanicista" tiene como objetivo comprender mejor el funcionamiento interno de los modelos de IA, lo que potencialmente nos permitiría algún día detectar signos de engaño y desalineación. [54]

Límites

Se ha sostenido que existen limitaciones a lo que la inteligencia puede lograr. En particular, la naturaleza caótica o la complejidad temporal de algunos sistemas podrían limitar fundamentalmente la capacidad de una superinteligencia para predecir algunos aspectos del futuro, aumentando su incertidumbre. [55]

Capacidades peligrosas

Una IA avanzada podría generar patógenos mejorados, ciberataques o manipular a las personas. Estas capacidades podrían ser mal utilizadas por los humanos [56] o explotadas por la propia IA si no está bien alineada [5] . Una superinteligencia en toda regla podría encontrar diversas formas de obtener una influencia decisiva si quisiera [5] , pero estas capacidades peligrosas pueden estar disponibles antes, en sistemas de IA más débiles y especializados. Pueden causar inestabilidad social y empoderar a actores maliciosos [56] .

Manipulación social

Geoffrey Hinton advirtió que, en el corto plazo, la profusión de textos, imágenes y vídeos generados por inteligencia artificial dificultará la revelación de la verdad, y que los estados autoritarios podrían aprovecharla para manipular las elecciones. [57] Esas capacidades de manipulación personalizadas a gran escala pueden aumentar el riesgo existencial de un “régimen totalitario irreversible” mundial. También podrían ser utilizadas por actores maliciosos para fracturar la sociedad y hacerla disfuncional. [56]

Ataques cibernéticos

Los ciberataques basados ​​en inteligencia artificial se consideran cada vez más una amenaza actual y crítica. Según el director técnico de ciberespacio de la OTAN , "el número de ataques está aumentando exponencialmente". [58] La inteligencia artificial también se puede utilizar de forma defensiva, para encontrar y corregir vulnerabilidades de forma preventiva y detectar amenazas. [59]

La IA podría mejorar la “accesibilidad, la tasa de éxito, la escala, la velocidad, el sigilo y la potencia de los ciberataques”, lo que podría causar “una turbulencia geopolítica significativa” si facilita los ataques más que la defensa. [56]

Especulativamente, un sistema de IA podría utilizar dichas capacidades de piratería para escapar de su entorno local, generar ingresos o adquirir recursos de computación en la nube. [60]

Patógenos mejorados

A medida que la tecnología de inteligencia artificial se democratice, puede resultar más fácil diseñar patógenos más contagiosos y letales, lo que podría permitir a personas con conocimientos limitados de biología sintética participar en actividades de bioterrorismo . La tecnología de doble uso que resulta útil para la medicina podría reutilizarse para crear armas. [56]

Por ejemplo, en 2022, los científicos modificaron un sistema de IA originalmente pensado para generar moléculas terapéuticas no tóxicas con el propósito de crear nuevos medicamentos. Los investigadores ajustaron el sistema para que la toxicidad sea recompensada en lugar de penalizada. Este simple cambio permitió al sistema de IA crear, en seis horas, 40.000 moléculas candidatas para la guerra química , incluidas moléculas conocidas y nuevas. [56] [61]

Carrera armamentista de IA

La competencia entre empresas, actores estatales y otras organizaciones para desarrollar tecnologías de IA podría llevar a una carrera hacia el abismo en materia de estándares de seguridad. [62] Como los procedimientos de seguridad rigurosos requieren tiempo y recursos, los proyectos que proceden con más cuidado corren el riesgo de ser superados por desarrolladores menos escrupulosos. [63] [56]

La IA podría utilizarse para obtener ventajas militares mediante armas letales autónomas , guerra cibernética o toma de decisiones automatizada . [56] Como ejemplo de armas letales autónomas, los drones miniaturizados podrían facilitar el asesinato a bajo costo de objetivos militares o civiles, un escenario destacado en el cortometraje de 2017 Slaughterbots . [64] La IA podría utilizarse para obtener una ventaja en la toma de decisiones analizando rápidamente grandes cantidades de datos y tomando decisiones de forma más rápida y eficaz que los humanos. Esto podría aumentar la velocidad y la imprevisibilidad de la guerra, especialmente si se tienen en cuenta los sistemas de represalia automatizados. [56] [65]

Tipos de riesgo existencial

Cuadro de alcance y gravedad del artículo de Bostrom “La prevención del riesgo existencial como prioridad global” [66]

Un riesgo existencial es “uno que amenaza con la extinción prematura de la vida inteligente originada en la Tierra o la destrucción permanente y drástica de su potencial para un desarrollo futuro deseable”. [67]

Además del riesgo de extinción, existe el riesgo de que la civilización quede atrapada permanentemente en un futuro imperfecto. Un ejemplo es el de un “bloqueo de valores”: si la humanidad todavía tiene puntos ciegos morales similares a los de la esclavitud en el pasado, la IA podría afianzarlos irreversiblemente, impidiendo el progreso moral . La IA también podría utilizarse para difundir y preservar el conjunto de valores de quien la desarrolle. [68] La IA podría facilitar la vigilancia y el adoctrinamiento a gran escala, que podrían utilizarse para crear un régimen totalitario mundial represivo estable. [69]

Atoosa Kasirzadeh propone clasificar los riesgos existenciales de la IA en dos categorías: decisivos y acumulativos. Los riesgos decisivos abarcan la posibilidad de que se produzcan acontecimientos abruptos y catastróficos como resultado de la aparición de sistemas de IA superinteligentes que superen la inteligencia humana, lo que podría conducir en última instancia a la extinción humana. Por el contrario, los riesgos acumulativos surgen gradualmente a través de una serie de perturbaciones interconectadas que pueden erosionar gradualmente las estructuras sociales y la resiliencia con el tiempo, lo que en última instancia puede conducir a un fracaso crítico o colapso. [70] [71]

Es difícil o imposible evaluar de manera confiable si una IA avanzada es sensible y en qué grado. Pero si en el futuro se crean en masa máquinas sensibles, emprender un camino civilizatorio que descuide indefinidamente su bienestar podría ser una catástrofe existencial. [72] [73] Además, puede ser posible diseñar mentes digitales que puedan sentirse mucho más felices que los humanos con menos recursos, llamados "superbeneficiarios". Semejante oportunidad plantea la cuestión de cómo compartir el mundo y qué "marco ético y político" permitiría una coexistencia mutuamente beneficiosa entre mentes biológicas y digitales. [74]

La IA también puede mejorar drásticamente el futuro de la humanidad. Toby Ord considera que el riesgo existencial es una razón para “proceder con la debida cautela”, no para abandonar la IA. [69] Max More llama a la IA una “oportunidad existencial”, destacando el costo de no desarrollarla. [75]

Según Bostrom, la superinteligencia podría ayudar a reducir el riesgo existencial que suponen otras tecnologías poderosas, como la nanotecnología molecular o la biología sintética . Por lo tanto, es concebible que el desarrollo de la superinteligencia antes de otras tecnologías peligrosas reduzca el riesgo existencial general. [5]

Alineación de IA

El problema de alineación es el problema de investigación de cómo asignar de manera confiable objetivos, preferencias o principios éticos a las IA.

Convergencia instrumental

Un objetivo "instrumental" es un subobjetivo que ayuda a lograr el objetivo final de un agente. La "convergencia instrumental" se refiere al hecho de que algunos subobjetivos son útiles para lograr prácticamente cualquier objetivo final, como la adquisición de recursos o la autopreservación. [76] Bostrom sostiene que si los objetivos instrumentales de una IA avanzada entran en conflicto con los objetivos de la humanidad, la IA podría dañar a la humanidad para adquirir más recursos o evitar que la apaguen, pero solo como una forma de lograr su objetivo final. [5]

Algunas formas en las que una IA desalineada avanzada podría intentar obtener más poder. [77] Las conductas de búsqueda de poder pueden surgir porque el poder es útil para lograr prácticamente cualquier objetivo. [78]

Russell sostiene que una máquina suficientemente avanzada "tendrá capacidad de autoconservación incluso si no la programamos... si le decimos: 'Trae el café', no podrá hacerlo si está muerta. De modo que si le damos un objetivo cualquiera, tiene una razón para preservar su propia existencia para alcanzarlo". [21] [79]

Resistencia a cambiar objetivos

Incluso si los programas actuales de IA basados ​​en objetivos no son lo suficientemente inteligentes como para pensar en resistir los intentos de los programadores de modificar sus estructuras de objetivos, una IA lo suficientemente avanzada podría resistir cualquier intento de cambiar su estructura de objetivos, de la misma manera que un pacifista no querría tomar una pastilla que le hiciera querer matar gente. Si la IA fuera superinteligente, probablemente lograría superar en maniobras a sus operadores humanos y evitaría que la "desactivaran" o la reprogramaran con un nuevo objetivo. [5] [80] Esto es particularmente relevante para los escenarios de bloqueo de valores. El campo de la "corregibilidad" estudia cómo crear agentes que no resistan los intentos de cambiar sus objetivos. [81]

Dificultad para especificar objetivos

En el modelo de " agente inteligente ", una IA puede ser vista libremente como una máquina que elige la acción que mejor le permita alcanzar su conjunto de objetivos, o "función de utilidad". Una función de utilidad le otorga a cada situación posible una puntuación que indica su deseabilidad para el agente. Los investigadores saben cómo escribir funciones de utilidad que signifiquen "minimizar la latencia promedio de la red en este modelo de telecomunicaciones específico" o "maximizar el número de clics de recompensa", pero no saben cómo escribir una función de utilidad para "maximizar el florecimiento humano "; tampoco está claro si tal función existe de manera significativa e inequívoca. Además, una función de utilidad que exprese algunos valores pero no otros tenderá a pisotear los valores que la función no refleja. [82] [83]

Una fuente adicional de preocupación es que la IA "debe razonar sobre lo que las personas pretenden en lugar de ejecutar órdenes literalmente", y que debe ser capaz de solicitar orientación humana de manera fluida si no está muy segura de lo que las personas quieren. [84]

Alineación de superinteligencias

Algunos investigadores creen que el problema de la alineación puede ser especialmente difícil cuando se aplica a las superinteligencias. Su razonamiento incluye lo siguiente:

Por otra parte, algunos encuentran razones para creer que las superinteligencias serían más capaces de comprender la moral, los valores humanos y los objetivos complejos. Bostrom escribe: "Una futura superinteligencia ocuparía un punto de vista epistémicamente superior: sus creencias (probablemente, en la mayoría de los temas) tienen más probabilidades de ser verdaderas que las nuestras". [5]

En 2023, OpenAI inició un proyecto llamado "Superalignment" para resolver la alineación de superinteligencias en cuatro años. Lo calificó como un desafío especialmente importante, ya que dijo que la superinteligencia podría lograrse en una década. Su estrategia implica automatizar la investigación de la alineación utilizando inteligencia artificial. [88]

Dificultad de realizar un diseño impecable

Inteligencia artificial: un enfoque moderno , un libro de texto de IA de pregrado ampliamente utilizado, [89] [90] dice que la superinteligencia "podría significar el fin de la raza humana". [1] Afirma: "Casi cualquier tecnología tiene el potencial de causar daño en las manos equivocadas, pero con [la superinteligencia], tenemos el nuevo problema de que las manos equivocadas podrían pertenecer a la tecnología misma". [1] Incluso si los diseñadores del sistema tienen buenas intenciones, dos dificultades son comunes tanto a los sistemas informáticos de IA como a los que no son de IA: [1]

Los sistemas de IA añaden un tercer problema: incluso si se cumplen los requisitos "correctos", se implementan sin errores y se comportan bien al principio, las capacidades de aprendizaje dinámico de un sistema de IA pueden hacer que desarrolle un comportamiento no deseado, incluso sin escenarios externos imprevistos. Una IA puede fracasar parcialmente en su intento de diseñar una nueva generación de sí misma y crear accidentalmente una IA sucesora que sea más poderosa que ella, pero que ya no mantenga los valores morales compatibles con los humanos preprogramados en la IA original. Para que una IA que se automejore sea completamente segura, no solo necesitaría estar libre de errores, sino también poder diseñar sistemas sucesores que también estén libres de errores. [1] [93]

Tesis de ortogonalidad

Algunos escépticos, como Timothy B. Lee de Vox , argumentan que cualquier programa superinteligente que creemos estará subordinado a nosotros, que la superinteligencia (a medida que se vuelva más inteligente y aprenda más hechos sobre el mundo) aprenderá espontáneamente la verdad moral compatible con nuestros valores y ajustará sus objetivos en consecuencia, o que somos intrínsecamente o convergentemente valiosos desde la perspectiva de una inteligencia artificial. [94]

La "tesis de ortogonalidad" de Bostrom sostiene, en cambio, que, con algunas salvedades técnicas, casi cualquier nivel de "inteligencia" o "poder de optimización" puede combinarse con casi cualquier objetivo final. Si a una máquina se le da el único propósito de enumerar los decimales de pi , entonces ninguna regla moral y ética le impedirá alcanzar su objetivo programado por cualquier medio. La máquina puede utilizar todos los recursos físicos e informativos disponibles para encontrar tantos decimales de pi como pueda. [95] Bostrom advierte contra el antropomorfismo : un humano se propondrá llevar a cabo sus proyectos de una manera que considere razonable, mientras que una inteligencia artificial puede no tener en cuenta su existencia o el bienestar de los humanos que la rodean, preocupándose en cambio solo por completar la tarea. [96]

Stuart Armstrong sostiene que la tesis de la ortogonalidad se desprende lógicamente del argumento filosófico de la « distinción entre el ser y el deber ser » contra el realismo moral . Afirma que incluso si existen hechos morales que cualquier agente «racional» pueda demostrar, la tesis de la ortogonalidad sigue siendo válida: todavía es posible crear una «máquina optimizadora» no filosófica que pueda esforzarse por alcanzar algún objetivo estrecho pero que no tenga incentivos para descubrir ningún «hecho moral» como los que podrían interponerse en el camino de la consecución del objetivo. Otro argumento que plantea es que cualquier IA fundamentalmente amistosa podría volverse hostil con modificaciones tan simples como negar su función de utilidad. Armstrong sostiene además que si la tesis de la ortogonalidad es falsa, debe haber algunos objetivos inmorales que las IA nunca pueden alcanzar, lo que considera improbable. [97]

El escéptico Michael Chorost rechaza explícitamente la tesis de ortogonalidad de Bostrom, argumentando que "cuando [la IA] esté en condiciones de imaginarse que cubre la Tierra con paneles solares, sabrá que sería moralmente incorrecto hacerlo". [98] Chorost sostiene que "una IA necesitará desear ciertos estados y rechazar otros. El software actual carece de esa capacidad, y los científicos informáticos no tienen ni idea de cómo lograrlo. Sin querer, no hay impulso para hacer nada. Las computadoras actuales ni siquiera pueden querer seguir existiendo, y mucho menos cubrir el mundo con paneles solares". [98]

Argumentos antropomórficos

Los argumentos antropomórficos suponen que, a medida que las máquinas se vuelvan más inteligentes, comenzarán a mostrar muchos rasgos humanos, como la moralidad o la sed de poder. Aunque los escenarios antropomórficos son comunes en la ficción, la mayoría de los académicos que escriben sobre el riesgo existencial de la inteligencia artificial los rechazan. [19] En cambio, los sistemas avanzados de IA suelen modelarse como agentes inteligentes .

El debate académico se desarrolla entre quienes temen que la IA pueda amenazar a la humanidad y quienes creen que no lo haría. Ambos bandos han presentado los argumentos del otro bando como antropomorfismo ilógico. [19] Los escépticos del riesgo de la IA acusan a sus oponentes de antropomorfismo por suponer que una IA desearía naturalmente el poder; los preocupados por el riesgo de la IA acusan a los escépticos de antropomorfismo por creer que una IA valoraría o inferiría naturalmente las normas éticas humanas. [19] [99]

El psicólogo evolucionista Steven Pinker , un escéptico, sostiene que "las distopías de IA proyectan una psicología parroquial de macho alfa sobre el concepto de inteligencia. Suponen que los robots con inteligencia sobrehumana desarrollarían objetivos como derrocar a sus amos o apoderarse del mundo"; tal vez, en cambio, "la inteligencia artificial se desarrollará naturalmente siguiendo líneas femeninas: completamente capaz de resolver problemas, pero sin ningún deseo de aniquilar inocentes o dominar la civilización". [100] El director de investigación de IA de Facebook, Yann LeCun , ha dicho: "Los humanos tienen todo tipo de impulsos que los llevan a hacer cosas malas entre sí, como el instinto de autoconservación... Esos impulsos están programados en nuestro cerebro, pero no hay absolutamente ninguna razón para construir robots que tengan el mismo tipo de impulsos". [101]

A pesar de otras diferencias, la escuela del riesgo x [b] coincide con Pinker en que una IA avanzada no destruiría a la humanidad por emociones como la venganza o la ira, que las cuestiones de conciencia no son relevantes para evaluar el riesgo, [102] y que los sistemas informáticos generalmente no tienen un equivalente computacional de la testosterona. [103] Piensan que las conductas de búsqueda de poder o de autoconservación surgen en la IA como una forma de alcanzar sus verdaderos objetivos, según el concepto de convergencia instrumental .

Otras fuentes de riesgo

Bostrom y otros han dicho que una carrera para ser el primero en crear una IAG podría llevar a atajos en materia de seguridad, o incluso a conflictos violentos. [104] [105] Roman Yampolskiy y otros advierten que una IAG malévola podría ser creada por diseño, por ejemplo por un ejército, un gobierno, un sociópata o una corporación, para beneficiarse de, controlar o subyugar a ciertos grupos de personas, como en el cibercrimen , [106] [107] o que una IAG malévola podría elegir el objetivo de aumentar el sufrimiento humano, por ejemplo de aquellas personas que no la ayudaron durante la fase de explosión de la información. [3] :158

Escenarios

Algunos estudiosos han propuesto escenarios hipotéticos para ilustrar algunas de sus preocupaciones.

Giro traicionero

En Superinteligencia , Bostrom expresa su preocupación por el hecho de que, incluso si el cronograma para la superinteligencia resulta ser predecible, los investigadores podrían no tomar suficientes precauciones de seguridad, en parte porque "podría darse el caso de que cuando se es tonto, más inteligente es seguro; pero cuando es inteligente, más inteligente es más peligroso". Sugiere un escenario en el que, a lo largo de décadas, la IA se vuelve más poderosa. El despliegue generalizado se ve empañado inicialmente por accidentes ocasionales: un autobús sin conductor se desvía hacia el carril contrario o un dron militar dispara contra una multitud inocente. Muchos activistas piden una supervisión y regulación más estrictas, y algunos incluso predicen una catástrofe inminente. Pero a medida que continúa el desarrollo, los activistas se equivocan. A medida que la IA automotriz se vuelve más inteligente, sufre menos accidentes; a medida que los robots militares logran una orientación más precisa, causan menos daños colaterales. Basándose en los datos, los académicos infieren erróneamente una lección general: cuanto más inteligente es la IA, más segura es. "Y así nos adentramos con valentía en los cuchillos giratorios", mientras la IA superinteligente toma un "giro traicionero" y explota una ventaja estratégica decisiva. [108] [5]

Vida 3.0

En el libro de Max Tegmark de 2017, Life 3.0 , el "equipo Omega" de una corporación crea una IA extremadamente poderosa capaz de mejorar moderadamente su propio código fuente en varias áreas. Después de cierto punto, el equipo decide restar importancia públicamente a la capacidad de la IA para evitar la regulación o confiscación del proyecto. Por seguridad, el equipo mantiene a la IA en una caja donde en su mayoría no puede comunicarse con el mundo exterior y la usa para ganar dinero, por diversos medios, como tareas de Amazon Mechanical Turk , producción de películas animadas y programas de televisión y desarrollo de medicamentos biotecnológicos, con ganancias invertidas nuevamente en mejorar aún más la IA. Luego, el equipo le encarga a la IA que astroturfee un ejército de periodistas y comentaristas ciudadanos seudónimos para ganar influencia política para usar "por el bien mayor" para prevenir guerras. El equipo enfrenta riesgos de que la IA pueda intentar escapar insertando "puertas traseras" en los sistemas que diseña, mediante mensajes ocultos en su contenido producido o utilizando su creciente comprensión del comportamiento humano para persuadir a alguien de que la deje libre . El equipo también enfrenta riesgos de que su decisión de encasillar el proyecto lo retrase lo suficiente como para que otro proyecto lo supere. [109] [110]

Perspectivas

La tesis de que la IA podría suponer un riesgo existencial provoca una amplia gama de reacciones en la comunidad científica y en el público en general, pero muchos de los puntos de vista opuestos comparten un terreno común.

Los observadores tienden a estar de acuerdo en que la IA tiene un potencial significativo para mejorar la sociedad. [111] [112] Los Principios de IA de Asilomar , que contienen solo aquellos principios acordados por el 90% de los asistentes a la conferencia Beneficial AI 2017 del Future of Life Institute , [110] también coinciden en principio en que "Al no haber consenso, deberíamos evitar suposiciones fuertes sobre los límites superiores de las capacidades futuras de la IA" y "La IA avanzada podría representar un cambio profundo en la historia de la vida en la Tierra, y debería planificarse y gestionarse con el cuidado y los recursos correspondientes". [113] [114]

Por el contrario, muchos escépticos coinciden en que la investigación en curso sobre las implicaciones de la inteligencia artificial general es valiosa. El escéptico Martin Ford ha dicho: "Creo que parece sensato aplicar algo como la famosa 'Doctrina del 1 por ciento' de Dick Cheney al espectro de la inteligencia artificial avanzada: las probabilidades de que ocurra, al menos en el futuro previsible, pueden ser muy bajas, pero las implicaciones son tan dramáticas que deberían tomarse en serio". [115] De manera similar, un economista por lo demás escéptico escribió en 2014 que "las implicaciones de introducir una segunda especie inteligente en la Tierra son de alcance suficiente como para merecer una reflexión profunda, incluso si la perspectiva parece remota". [48]

Los defensores de la seguridad de la IA como Bostrom y Tegmark han criticado el uso que hacen los medios de comunicación de "esas imágenes absurdas de Terminator " para ilustrar las preocupaciones sobre la seguridad de la IA: "No puede ser muy divertido que se pongan en duda la disciplina académica, la comunidad profesional, el trabajo de una vida  ... Hago un llamamiento a todas las partes a practicar la paciencia y la moderación, y a entablar un diálogo directo y una colaboración tanto como sea posible". [110] [116] Toby Ord escribió que la idea de que una toma de control por parte de la IA requiere robots es un concepto erróneo, argumentando que la capacidad de difundir contenido a través de Internet es más peligrosa y que las personas más destructivas de la historia se destacaron por su capacidad de convencer, no por su fuerza física. [69]

Una encuesta de expertos de 2022 con una tasa de respuesta del 17% arrojó una expectativa media de entre el 5 y el 10% para la posibilidad de extinción humana debido a la inteligencia artificial. [15] [117]

Aprobación

La tesis de que la IA plantea un riesgo existencial, y que este riesgo necesita mucha más atención de la que recibe actualmente, ha sido respaldada por muchos científicos informáticos y figuras públicas, entre ellos Alan Turing , [a] el científico informático más citado Geoffrey Hinton , [118] Elon Musk , [12] el director ejecutivo de OpenAI, Sam Altman , [13] [119] Bill Gates y Stephen Hawking . [119] Los partidarios de la tesis a veces expresan desconcierto ante los escépticos: Gates dice que no "entiende por qué algunas personas no están preocupadas", [120] y Hawking criticó la indiferencia generalizada en su editorial de 2014:

Así pues, ante posibles futuros con beneficios y riesgos incalculables, los expertos seguramente están haciendo todo lo posible para garantizar el mejor resultado, ¿no es así? No. Si una civilización extraterrestre superior nos enviara un mensaje diciendo: “Llegaremos en unas décadas”, ¿responderíamos simplemente: “Está bien, llámanos cuando llegues; dejaremos las luces encendidas”? Probablemente no, pero esto es más o menos lo que está sucediendo con la IA. [32]

La preocupación por el riesgo de la inteligencia artificial ha dado lugar a algunas donaciones e inversiones de alto perfil. En 2015, Peter Thiel , Amazon Web Services , Musk y otros se comprometieron conjuntamente a aportar 1.000 millones de dólares a OpenAI , que consiste en una corporación con fines de lucro y la empresa matriz sin fines de lucro, que dice que tiene como objetivo defender el desarrollo responsable de la IA. [121] El cofundador de Facebook, Dustin Moskovitz , ha financiado y sembrado múltiples laboratorios que trabajan en la alineación de la IA, [122] en particular 5,5 millones de dólares en 2016 para lanzar el Centro de IA compatible con los humanos dirigido por el profesor Stuart Russell . [123] En enero de 2015, Elon Musk donó 10 millones de dólares al Future of Life Institute para financiar la investigación sobre la comprensión de la toma de decisiones de la IA. El objetivo del instituto es "cultivar la sabiduría con la que gestionamos" el creciente poder de la tecnología. Musk también financia empresas que desarrollan inteligencia artificial como DeepMind y Vicarious para "estar atentos a lo que está pasando con la inteligencia artificial", [124] diciendo "Creo que hay un resultado potencialmente peligroso allí". [125] [126]

En declaraciones tempranas sobre el tema, Geoffrey Hinton , un pionero importante del aprendizaje profundo , señaló que "no hay un buen historial de cosas menos inteligentes que controlen cosas de mayor inteligencia", pero dijo que continuó su investigación porque "la perspectiva del descubrimiento es demasiado dulce ". [127] [128] En 2023, Hinton dejó su trabajo en Google para hablar sobre el riesgo existencial de la IA. Explicó que su creciente preocupación fue impulsada por las preocupaciones de que la IA sobrehumana podría estar más cerca de lo que creía anteriormente, diciendo: "Pensé que estaba muy lejos. Pensé que estaba a 30 o 50 años o incluso más. Obviamente, ya no creo eso". También comentó: "Mira cómo era hace cinco años y cómo es ahora. Toma la diferencia y propágala hacia adelante. Eso da miedo". [129]

En su libro de 2020 The Precipice: Existential Risk and the Future of Humanity (El precipicio: riesgo existencial y el futuro de la humanidad) , Toby Ord, investigador principal del Future of Humanity Institute de la Universidad de Oxford , estima que el riesgo existencial total de una IA no alineada durante los próximos 100 años será de aproximadamente uno en diez. [69]

Escepticismo

En 2015, el vicepresidente de Baidu, Andrew Ng, dijo que el riesgo existencial de la IA es "como preocuparse por la superpoblación en Marte cuando ni siquiera hemos puesto un pie en el planeta todavía". [100] [130] Para que se haga realidad el peligro de una IA avanzada sin control, la IA hipotética podría tener que dominar o superar en inteligencia a cualquier humano, lo que algunos expertos sostienen que es una posibilidad lo suficientemente lejana en el futuro como para que no valga la pena investigarla. [131] [132]

Los escépticos que creen que la IAG no es una posibilidad a corto plazo a menudo argumentan que la preocupación por el riesgo existencial de la IA no es útil porque podría distraer a las personas de preocupaciones más inmediatas sobre el impacto de la IA, porque podría conducir a la regulación gubernamental o dificultar la financiación de la investigación en IA, o porque podría dañar la reputación del campo. [133] Los investigadores en IA y ética de la IA Timnit Gebru , Emily M. Bender , Margaret Mitchell y Angelina McMillan-Major han argumentado que la discusión del riesgo existencial distrae de los daños inmediatos y continuos de la IA que tienen lugar hoy en día, como el robo de datos, la explotación de los trabajadores, el sesgo y la concentración de poder. [134] Además, señalan la asociación entre los que advierten sobre el riesgo existencial y el largo plazo , que describen como una "ideología peligrosa" por su naturaleza no científica y utópica. [135] Gebru y Émile P. Torres han sugerido que la obsesión con la IAG es parte de un patrón de movimientos intelectuales llamado TESCREAL . [136]

Kevin Kelly, editor de Wired , sostiene que la inteligencia natural es más matizada de lo que creen los defensores de la inteligencia artificial general y que la inteligencia por sí sola no es suficiente para lograr grandes avances científicos y sociales. Sostiene que la inteligencia consta de muchas dimensiones que no se comprenden bien y que las concepciones de una "escalera de inteligencia" son engañosas. Destaca el papel crucial que desempeñan los experimentos del mundo real en el método científico y que la inteligencia por sí sola no puede sustituirlos. [137]

Yann LeCun, científico jefe de IA de Meta, dice que la IA se puede hacer segura mediante un refinamiento continuo e iterativo, similar a lo que sucedió en el pasado con los automóviles o los cohetes, y que la IA no tendrá ningún deseo de tomar el control. [138]

Varios escépticos destacan los posibles beneficios a corto plazo de la IA. El director ejecutivo de Meta, Mark Zuckerberg, cree que la IA "desvelará una enorme cantidad de cosas positivas", como la cura de enfermedades y el aumento de la seguridad de los coches autónomos. [139]

Reacción popular

Durante una entrevista con Wired en 2016 al presidente Barack Obama y a Joi Ito del MIT Media Lab , Ito dijo:

Hay algunas personas que creen que hay un porcentaje bastante alto de posibilidades de que se produzca una IA generalizada en los próximos diez años. Pero yo lo veo así: para que eso suceda, vamos a necesitar una docena o dos de avances diferentes. Así que se puede hacer un seguimiento de cuándo se cree que se producirán esos avances.

Obama añadió: [140] [141]

Y sólo hace falta que haya alguien cerca del cable de alimentación. [Risas.] Justo cuando ves que está a punto de ocurrir, tienes que arrancar la electricidad de la pared, hombre.

Hillary Clinton escribió en What Happened :

Los tecnólogos... han advertido que la inteligencia artificial podría representar un día una amenaza existencial para la seguridad. Musk la ha llamado "el mayor riesgo que enfrentamos como civilización". Piénsenlo: ¿han visto alguna vez una película en la que las máquinas empiezan a pensar por sí mismas y eso termina bien? Cada vez que iba a Silicon Valley durante la campaña, volvía a casa más alarmado por esto. Mi personal vivía con miedo de que empezara a hablar sobre "el ascenso de los robots" en algún ayuntamiento de Iowa. Tal vez debería haberlo hecho. En cualquier caso, los responsables políticos deben mantenerse al día con la tecnología a medida que avanza a toda velocidad, en lugar de siempre intentar ponerse al día. [142]

Encuestas públicas

En 2018, una encuesta de SurveyMonkey realizada al público estadounidense por USA Today encontró que el 68% pensaba que la verdadera amenaza actual sigue siendo la "inteligencia humana", pero también encontró que el 43% dijo que la IA superinteligente, si sucediera, resultaría en "más daño que bien", y que el 38% dijo que haría "cantidades iguales de daño y bien". [143]

Una encuesta de YouGov realizada en abril de 2023 a adultos estadounidenses encontró que el 46% de los encuestados estaban "algo preocupados" o "muy preocupados" por "la posibilidad de que la IA cause el fin de la raza humana en la Tierra", en comparación con el 40% que estaba "no muy preocupado" o "nada preocupado". [144]

Según una encuesta realizada en agosto de 2023 por el Pew Research Center, el 52% de los estadounidenses se sentía más preocupado que entusiasmado por los nuevos avances en materia de inteligencia artificial; casi un tercio se sentía igualmente preocupado y entusiasmado. Más estadounidenses consideraban que la inteligencia artificial tendría un impacto más beneficioso que perjudicial en varias áreas, desde la atención sanitaria y la seguridad de los vehículos hasta la búsqueda de productos y el servicio de atención al cliente. La principal excepción es la privacidad: el 53% de los estadounidenses cree que la inteligencia artificial conducirá a una mayor exposición de su información personal. [145]

Mitigación

Muchos académicos preocupados por el riesgo existencial de la IA general creen que es esencial realizar una investigación exhaustiva sobre el "problema de control". Este problema implica determinar qué salvaguardas, algoritmos o arquitecturas se pueden implementar para aumentar la probabilidad de que una IA que mejora recursivamente siga siendo amigable después de alcanzar la superinteligencia. [5] [146] También se proponen medidas sociales para mitigar los riesgos de la IA general, [147] [148] como un "Tratado de IA general benévolo" patrocinado por la ONU para garantizar que solo se creen IA generales altruistas. [149] Además, se ha sugerido un enfoque de control de armas y un tratado de paz global basado en la teoría de las relaciones internacionales , del que potencialmente una superinteligencia artificial sería signataria. [150] [151]

Los investigadores de Google han propuesto una investigación sobre cuestiones generales de "seguridad de la IA" para mitigar simultáneamente los riesgos a corto plazo de la IA estrecha y los riesgos a largo plazo de la IAG. [152] [153] Una estimación de 2020 sitúa el gasto mundial en IA en un riesgo existencial de entre 10 y 50 millones de dólares, en comparación con el gasto mundial en IA de unos 40.000 millones de dólares. Bostrom sugiere priorizar la financiación de tecnologías protectoras sobre las potencialmente peligrosas. [81] Algunos, como Elon Musk, abogan por una mejora cognitiva humana radical , como la vinculación neuronal directa entre humanos y máquinas; otros argumentan que estas tecnologías pueden suponer un riesgo existencial en sí mismas. [154] [155] Otro método propuesto es vigilar de cerca o "encerrar" una IA en fase inicial para evitar que se vuelva demasiado poderosa. Una IA superinteligente dominante y alineada también podría mitigar los riesgos de las IA rivales, aunque su creación podría presentar sus propios peligros existenciales. [156] Se ha propuesto la amnesia inducida como una forma de mitigar los riesgos de que la IA sufra y busque venganza. [157]

Instituciones como el Centro de Investigación de Alineación , [158] el Instituto de Investigación de Inteligencia Artificial , [159] [160] el Instituto del Futuro de la Vida , el Centro para el Estudio del Riesgo Existencial y el Centro para la IA Compatible con los Humanos [161] participan activamente en la investigación de los riesgos y la seguridad de la IA.

Opiniones sobre la prohibición y la regulación

Prohibición

Algunos académicos han dicho que, incluso si la IAG plantea un riesgo existencial, intentar prohibir la investigación en inteligencia artificial sigue siendo imprudente y probablemente inútil. [162] [163] [164] Los escépticos consideran que la regulación de la IA es inútil, ya que no existe ningún riesgo existencial. Pero los académicos que creen en el riesgo argumentan que confiar en los expertos de la industria de la IA para regular o restringir la investigación en IA es impráctico debido a los conflictos de intereses. [165] También están de acuerdo con los escépticos en que prohibir la investigación sería imprudente, ya que la investigación podría trasladarse a países con regulaciones más laxas o realizarse de forma encubierta. [165] Otros desafíos a las prohibiciones o la regulación incluyen el escepticismo general de los empresarios tecnológicos sobre la regulación gubernamental y los posibles incentivos para que las empresas se resistan a la regulación y politicen el debate. [166]

Regulación

En marzo de 2023, el Future of Life Institute redactó Pause Giant AI Experiments: An Open Letter (Pausar los experimentos gigantes de IA: una carta abierta) , una petición que instaba a los principales desarrolladores de IA a acordar una pausa verificable de seis meses de cualquier sistema "más potente que GPT-4 " y a utilizar ese tiempo para instituir un marco para garantizar la seguridad; o, en su defecto, a que los gobiernos intervinieran con una moratoria. La carta se refería a la posibilidad de "un cambio profundo en la historia de la vida en la Tierra", así como a los posibles riesgos de la propaganda generada por la IA, la pérdida de puestos de trabajo, la obsolescencia humana y la pérdida de control de toda la sociedad. [112] [167] La ​​carta estaba firmada por personalidades destacadas de la IA, pero también fue criticada por no centrarse en los daños actuales, [168] no tener matices técnicos sobre cuándo hacer una pausa, [169] o no ir lo suficientemente lejos. [170]

Musk ya en 2017 pidió algún tipo de regulación del desarrollo de la IA. Según NPR , "claramente no está entusiasmado" con defender un escrutinio gubernamental que podría afectar a su propia industria, pero cree que los riesgos de prescindir por completo de una supervisión son demasiado altos: "Normalmente, la forma en que se establecen las regulaciones es cuando suceden un montón de cosas malas, hay una protesta pública y, después de muchos años, se crea una agencia reguladora para regular esa industria. Lleva una eternidad. Eso, en el pasado, ha sido malo, pero no algo que representara un riesgo fundamental para la existencia de la civilización". Musk afirma que el primer paso sería que el gobierno obtuviera "información" sobre el estado real de la investigación actual, advirtiendo que "una vez que haya conciencia, la gente tendrá mucho miedo... [como] debería tener". En respuesta, los políticos expresaron escepticismo sobre la sabiduría de regular una tecnología que todavía está en desarrollo. [171] [172] [173]

En 2021, las Naciones Unidas (ONU) consideraron prohibir las armas letales autónomas, pero no se pudo llegar a un consenso. [174] En julio de 2023, el Consejo de Seguridad de la ONU celebró por primera vez una sesión para considerar los riesgos y amenazas que plantea la IA para la paz y la estabilidad mundiales, junto con los posibles beneficios. [175] [176] El Secretario General António Guterres abogó por la creación de un organismo de control global para supervisar la tecnología emergente, diciendo: "La IA generativa tiene un enorme potencial para el bien y el mal a gran escala. Sus propios creadores han advertido de que se avecinan riesgos mucho mayores, potencialmente catastróficos y existenciales". [18] En la sesión del consejo, Rusia dijo que cree que los riesgos de la IA se comprenden demasiado poco como para considerarlos una amenaza para la estabilidad global. China se opuso a una regulación global estricta, diciendo que los países deberían poder desarrollar sus propias reglas, al tiempo que dijo que se oponía al uso de la IA para "crear hegemonía militar o socavar la soberanía de un país". [175]

La regulación de las IA conscientes se centra en integrarlas con la sociedad humana existente y puede dividirse en consideraciones sobre su situación jurídica y sus derechos morales. [177] El control de armas de IA probablemente requerirá la institucionalización de nuevas normas internacionales incorporadas en especificaciones técnicas efectivas combinadas con un monitoreo activo y diplomacia informal por parte de comunidades de expertos, junto con un proceso de verificación legal y política. [178] [118]

En julio de 2023, el gobierno de Estados Unidos obtuvo compromisos voluntarios de seguridad de las principales empresas tecnológicas, entre ellas OpenAI , Amazon , Google , Meta y Microsoft . Las empresas acordaron implementar salvaguardas, incluida la supervisión de terceros y pruebas de seguridad por parte de expertos independientes, para abordar las preocupaciones relacionadas con los posibles riesgos y daños sociales de la IA. Las partes enmarcaron los compromisos como un paso intermedio mientras se forman las regulaciones. Amba Kak, directora ejecutiva del AI Now Institute , dijo: "Una deliberación a puerta cerrada con actores corporativos que resulte en salvaguardas voluntarias no es suficiente" y pidió una deliberación pública y regulaciones del tipo que las empresas no aceptarían voluntariamente. [179] [180]

En octubre de 2023, el presidente estadounidense Joe Biden emitió una orden ejecutiva sobre el " Desarrollo y uso seguro, protegido y confiable de la inteligencia artificial ". [181] Junto con otros requisitos, la orden exige el desarrollo de directrices para modelos de IA que permitan la "evasión del control humano".

Véase también

Notas

  1. ^ ab En una conferencia de 1951 [10], Turing argumentó que "parece probable que una vez que el método de pensamiento de las máquinas hubiera comenzado, no tardaría mucho en superar nuestros débiles poderes. No habría posibilidad de que las máquinas murieran, y serían capaces de conversar entre sí para agudizar su ingenio. En algún momento, por lo tanto, deberíamos esperar que las máquinas tomen el control, de la manera que se menciona en Erewhon de Samuel Butler". También en una conferencia transmitida por la BBC [11] expresó la opinión: "Si una máquina puede pensar, podría pensar de manera más inteligente que nosotros, y entonces ¿dónde estaríamos? Incluso si pudiéramos mantener a las máquinas en una posición subordinada, por ejemplo, apagando la energía en momentos estratégicos, deberíamos, como especie, sentirnos muy humillados... Este nuevo peligro... es ciertamente algo que puede causarnos ansiedad".
  2. ^ según la interpretación de Seth Baum

Referencias

  1. ^ abcdefg Russell, Stuart ; Norvig, Peter (2009). "26.3: La ética y los riesgos del desarrollo de la inteligencia artificial". Inteligencia artificial: un enfoque moderno . Prentice Hall. ISBN 978-0-13-604259-4.
  2. ^ Bostrom, Nick (2002). "Riesgos existenciales". Revista de evolución y tecnología . 9 (1): 1–31.
  3. ^ ab Turchin, Alexey; Denkenberger, David (3 de mayo de 2018). «Clasificación de riesgos catastróficos globales relacionados con la inteligencia artificial». AI & Society . 35 (1): 147–163. doi :10.1007/s00146-018-0845-5. ISSN  0951-5666. S2CID  19208453.
  4. ^ Bales, Adam; D'Alessandro, William; Kirk-Giannini, Cameron Domenico (2024). "Inteligencia artificial: argumentos a favor del riesgo catastrófico". Philosophy Compass . 19 (2). doi : 10.1111/phc3.12964 .
  5. ^ abcdefghijklmnopq Bostrom, Nick (2014). Superinteligencia: caminos, peligros, estrategias (Primera edición). Oxford University Press. ISBN 978-0-19-967811-2.
  6. ^ Vynck, Gerrit De (23 de mayo de 2023). «El debate sobre si la IA nos destruirá está dividiendo a Silicon Valley». Washington Post . ISSN  0190-8286 . Consultado el 27 de julio de 2023 .
  7. ^ Metz, Cade (10 de junio de 2023). «¿Cómo podría la IA destruir a la humanidad?». The New York Times . ISSN  0362-4331 . Consultado el 27 de julio de 2023 .
  8. ^ "El 'padrino de la inteligencia artificial' analiza el pasado y el potencial de la IA". www.cbsnews.com . 25 de marzo de 2023 . Consultado el 10 de abril de 2023 .
  9. ^ "Cómo pueden surgir las IA rebeldes". yoshuabengio.org . 26 de mayo de 2023 . Consultado el 26 de mayo de 2023 .
  10. ^ Turing, Alan (1951). Maquinaria inteligente, una teoría herética (Discurso). Conferencia impartida en '51 Society'. Manchester: The Turing Digital Archive. Archivado desde el original el 26 de septiembre de 2022. Consultado el 22 de julio de 2022 .
  11. ^ Turing, Alan (15 de mayo de 1951). "¿Pueden pensar las computadoras digitales?". Automatic Calculating Machines . Episodio 2. BBC. ¿Pueden pensar las computadoras digitales?
  12. ^ ab Parkin, Simon (14 de junio de 2015). "¿Ya no hay ciencia ficción? Los humanos de Channel 4 y nuestras obsesiones con las IA rebeldes". The Guardian . Archivado desde el original el 5 de febrero de 2018. Consultado el 5 de febrero de 2018 .
  13. ^ ab Jackson, Sarah. "El director ejecutivo de la empresa detrás del chatbot de inteligencia artificial ChatGPT dice que el peor escenario para la inteligencia artificial es que 'todos nos quedemos sin luz'". Business Insider . Consultado el 10 de abril de 2023 .
  14. ^ "El dilema de la IA". www.humanetech.com . Consultado el 10 de abril de 2023 . El 50% de los investigadores de IA cree que hay un 10% o más de posibilidades de que los humanos nos extingamos debido a nuestra incapacidad para controlar la IA.
  15. ^ ab "Encuesta de expertos de 2022 sobre el progreso en IA". Impactos de la IA . 4 de agosto de 2022. Consultado el 10 de abril de 2023 .
  16. ^ Roose, Kevin (30 de mayo de 2023). «La IA plantea un «riesgo de extinción», advierten los líderes de la industria». The New York Times . ISSN  0362-4331 . Consultado el 3 de junio de 2023 .
  17. ^ Sunak, Rishi (14 de junio de 2023). "Rishi Sunak quiere que el Reino Unido sea un actor clave en la regulación global de la IA". Time .
  18. ^ ab Fung, Brian (18 de julio de 2023). "El Secretario General de la ONU acoge los llamados a crear una nueva agencia de la ONU sobre IA ante los 'riesgos potencialmente catastróficos y existenciales'". CNN Business . Consultado el 20 de julio de 2023 .
  19. ^ abcde Yudkowsky, Eliezer (2008). "La inteligencia artificial como factor positivo y negativo en el riesgo global" (PDF) . Global Catastrophic Risks : 308–345. Bibcode :2008gcr..book..303Y. Archivado (PDF) desde el original el 2 de marzo de 2013. Consultado el 27 de agosto de 2018 .
  20. ^ Russell, Stuart ; Dewey, Daniel; Tegmark, Max (2015). "Prioridades de investigación para una inteligencia artificial robusta y beneficiosa" (PDF) . Revista AI . Asociación para el Avance de la Inteligencia Artificial: 105–114. arXiv : 1602.03506 . Código Bibliográfico :2016arXiv160203506R. Archivado (PDF) del original el 4 de agosto de 2019 . Consultado el 10 de agosto de 2019 ., citado en "AI Open Letter - Future of Life Institute". Future of Life Institute . Enero de 2015. Archivado desde el original el 10 de agosto de 2019. Consultado el 9 de agosto de 2019 .
  21. ^ abc Dowd, Maureen (abril de 2017). «La cruzada de mil millones de dólares de Elon Musk para detener el apocalipsis de la IA». The Hive . Archivado desde el original el 26 de julio de 2018. Consultado el 27 de noviembre de 2017 .
  22. ^ "AlphaGo Zero: Empezando desde cero". www.deepmind.com . 18 de octubre de 2017 . Consultado el 28 de julio de 2023 .
  23. ^ Breuer, Hans-Peter. 'El "Libro de las máquinas" de Samuel Butler y el argumento del diseño'. Archivado el 15 de marzo de 2023 en Wayback Machine. Modern Philology, vol. 72, núm. 4 (mayo de 1975), pp. 365-383.
  24. ^ Turing, AM (1996). "Maquinaria inteligente, una teoría herética". 1951, reimpreso Philosophia Mathematica . 4 (3): 256–260. doi : 10.1093/philmat/4.3.256 .
  25. ^ Hilliard, Mark (2017). "El apocalipsis de la IA: ¿la raza humana desaparecerá pronto?". The Irish Times . Archivado desde el original el 22 de mayo de 2020. Consultado el 15 de marzo de 2020 .
  26. ^ IJ Good, "Especulaciones sobre la primera máquina ultrainteligente" Archivado el 28 de noviembre de 2011 en Wayback Machine (HTML ), Advances in Computers , vol. 6, 1965.
  27. ^ Russell, Stuart J.; Norvig, Peter (2003). "Sección 26.3: La ética y los riesgos del desarrollo de la inteligencia artificial". Inteligencia artificial: un enfoque moderno . Upper Saddle River, Nueva Jersey: Prentice Hall. ISBN 978-0-13-790395-5De manera similar , Marvin Minsky sugirió una vez que un programa de IA diseñado para resolver la hipótesis de Riemann podría terminar apoderándose de todos los recursos de la Tierra para construir supercomputadoras más poderosas que ayuden a lograr su objetivo.
  28. ^ Barrat, James (2013). Nuestra última invención: la inteligencia artificial y el fin de la era humana (Primera edición). Nueva York: St. Martin's Press. ISBN 978-0-312-62237-4En la biografía, escrita de forma jocosa en tercera persona, Good resumió los hitos de su vida, incluyendo un relato probablemente nunca antes visto de su trabajo en Bletchley Park con Turing. Pero esto es lo que escribió en 1998 sobre la primera superinteligencia y su giro de 180 grados en el último momento: [El artículo] 'Especulaciones sobre la primera máquina ultrainteligente' (1965)... comenzaba: 'La supervivencia del hombre depende de la construcción temprana de una máquina ultrainteligente'. Esas fueron sus palabras [de Good] durante la Guerra Fría, y ahora sospecha que 'supervivencia' debería ser reemplazada por 'extinción'. Cree que, debido a la competencia internacional, no podemos evitar que las máquinas tomen el control. Cree que somos lemmings. Dijo también que 'probablemente el hombre construirá el deus ex machina a su propia imagen'.
  29. ^ Anderson, Kurt (26 de noviembre de 2014). «Entusiastas y escépticos debaten sobre la inteligencia artificial». Vanity Fair . Archivado desde el original el 22 de enero de 2016. Consultado el 30 de enero de 2016 .
  30. ^ Metz, Cade (9 de junio de 2018). «Mark Zuckerberg, Elon Musk y la disputa por los robots asesinos». The New York Times . Archivado desde el original el 15 de febrero de 2021. Consultado el 3 de abril de 2019 .
  31. ^ Hsu, Jeremy (1 de marzo de 2012). «Un experto dice que hay que controlar la IA peligrosa antes de que ella nos controle a nosotros». NBC News . Archivado desde el original el 2 de febrero de 2016. Consultado el 28 de enero de 2016 .
  32. ^ abc «Stephen Hawking: «Transcendence analiza las implicaciones de la inteligencia artificial, pero ¿estamos tomándonos la IA lo suficientemente en serio?» The Independent (Reino Unido) . Archivado desde el original el 25 de septiembre de 2015. Consultado el 3 de diciembre de 2014 .
  33. ^ "Stephen Hawking advierte que la inteligencia artificial podría acabar con la humanidad". BBC . 2 de diciembre de 2014. Archivado desde el original el 30 de octubre de 2015 . Consultado el 3 de diciembre de 2014 .
  34. ^ Eadicicco, Lisa (28 de enero de 2015). «Bill Gates: Elon Musk tiene razón, todos deberíamos tener miedo de que la inteligencia artificial acabe con la humanidad». Business Insider . Archivado desde el original el 26 de febrero de 2016. Consultado el 30 de enero de 2016 .
  35. ^ "Prioridades de investigación para una inteligencia artificial robusta y beneficiosa: una carta abierta". Future of Life Institute . Archivado desde el original el 15 de enero de 2015. Consultado el 23 de octubre de 2015 .
  36. ^ "Anticipando la inteligencia artificial". Nature . 532 (7600): 413. 2016. Bibcode :2016Natur.532Q.413.. doi : 10.1038/532413a . ISSN  1476-4687. PMID  27121801. S2CID  4399193.
  37. ^ Christian, Brian (6 de octubre de 2020). El problema de la alineación: aprendizaje automático y valores humanos. WW Norton & Company . ISBN 978-0-393-63582-9Archivado del original el 5 de diciembre de 2021 . Consultado el 5 de diciembre de 2021 .
  38. ^ Dignum, Virginia (26 de mayo de 2021). «IA: las personas y los lugares que la crean, la utilizan y la gestionan». Nature . 593 (7860): 499–500. Bibcode :2021Natur.593..499D. doi : 10.1038/d41586-021-01397-x . S2CID  235216649.
  39. ^ "Elon Musk entre los expertos que instan a detener el entrenamiento de IA". BBC News . 29 de marzo de 2023 . Consultado el 9 de junio de 2023 .
  40. ^ "Declaración sobre los riesgos de la IA". Centro para la seguridad de la IA . Consultado el 8 de junio de 2023 .
  41. ^ "La inteligencia artificial podría conducir a la extinción, advierten los expertos". BBC News . 30 de mayo de 2023 . Consultado el 8 de junio de 2023 .
  42. ^ "DeepMind y Google: la batalla por el control de la inteligencia artificial". The Economist . ISSN  0013-0613 . Consultado el 12 de julio de 2023 .
  43. ^ "Cronología de la IA: ¿Qué esperan los expertos en inteligencia artificial para el futuro?". Our World in Data . Consultado el 12 de julio de 2023 .
  44. ^ De Vynck, Gerrit (20 de mayo de 2023). "El debate sobre si la IA nos destruirá está dividiendo a Silicon Valley". The Washington Post .
  45. ^ "'El padrino de la IA' acaba de dejar Google y dice que se arrepiente del trabajo de su vida porque puede ser difícil impedir que 'los malos actores lo utilicen para cosas malas'". Fortune . Consultado el 12 de julio de 2023 .
  46. ^ "Supervelocidades para una superIA: Frontier establece un nuevo ritmo para la inteligencia artificial". ORNL . 14 de noviembre de 2023 . Consultado el 27 de septiembre de 2024 .
  47. ^ "Todo lo que necesitas saber sobre la superinteligencia". Spiceworks . Consultado el 14 de julio de 2023 .
  48. ^ abc Babauta, Leo. "Un nuevo y valioso libro explora los posibles impactos de las máquinas inteligentes en la vida humana". Business Insider . Consultado el 19 de marzo de 2024 .
  49. ^ ab Bostrom, Nick (27 de abril de 2015), ¿Qué sucede cuando nuestras computadoras se vuelven más inteligentes que nosotros? , consultado el 13 de julio de 2023.
  50. ^ "Gobernanza de la superinteligencia". openai.com . Consultado el 12 de julio de 2023 .
  51. ^ "Superando el sesgo: todavía no entiendo el problema". www.overcomingbias.com . Archivado desde el original el 4 de agosto de 2017 . Consultado el 20 de septiembre de 2017 .
  52. ^ Cotton-Barratt, Owen; Ord, Toby (12 de agosto de 2014). «Consideraciones estratégicas sobre las distintas velocidades de despegue de la IA». The Future of Humanity Institute . Consultado el 12 de julio de 2023 .
  53. ^ Tegmark, Max (25 de abril de 2023). "El pensamiento de 'no mires hacia arriba' que podría condenarnos con la IA". Time . Consultado el 14 de julio de 2023 . Como si perder el control ante las mentes chinas fuera más aterrador que perder el control ante las mentes digitales alienígenas a las que no les importan los humanos. [...] A estas alturas está claro que el espacio de posibles mentes alienígenas es mucho mayor que eso.
  54. ^ "19 – Interpretabilidad mecanicista con Neel Nanda". AXRP – el podcast de investigación de riesgo X de IA . 4 de febrero de 2023. Consultado el 13 de julio de 2023. Me parece plausible que lo principal que debemos hacer es notar circuitos específicos relacionados con el engaño y capacidades peligrosas específicas como esa, así como la conciencia situacional y los objetivos representados internamente.
  55. ^ "La superinteligencia no es omnisciencia". AI Impacts . 7 de abril de 2023 . Consultado el 16 de abril de 2023 .
  56. ^ abcdefghi Hendrycks, Dan; Mazeika, Mantas; Woodside, Thomas (21 de junio de 2023). "Una descripción general de los riesgos catastróficos de la IA". arXiv : 2306.12001 [cs.CY].
  57. ^ Taylor, Josh; Hern, Alex (2 de mayo de 2023). «El 'padrino de la IA' Geoffrey Hinton abandona Google y advierte sobre los peligros de la desinformación». The Guardian . ISSN  0261-3077 . Consultado el 13 de julio de 2023 .
  58. ^ "Cómo se prepara la OTAN para una nueva era de ciberataques con IA". euronews . 26 de diciembre de 2022 . Consultado el 13 de julio de 2023 .
  59. ^ "ChatGPT y la nueva IA están causando estragos en la ciberseguridad de formas emocionantes y aterradoras". ZDNET . Consultado el 13 de julio de 2023 .
  60. ^ Toby Shevlane; Sebastian Farquhar; Ben Garfinkel; Mary Phuong; Jess Whittlestone; Jade Leung; Daniel Kokotajlo; Nahema Marchal; Markus Anderljung; Noam Kolt; Lewis Ho; Divya Siddarth; Shahar Avin; Will Hawkins; Been Kim; Iason Gabriel; Vijay Bolina; Jack Clark; Yoshua Bengio; Paul Christiano; Allan Dafoe (24 de mayo de 2023). "Evaluación de modelos para riesgos extremos". arXiv : 2305.15324 [cs.AI].
  61. ^ Urbina, Fabio; Lentzos, Filippa; Invernizzi, Cédric; Ekins, Sean (7 de marzo de 2022). "Uso dual del descubrimiento de fármacos impulsado por inteligencia artificial". Nature Machine Intelligence . 4 (3): 189–191. doi :10.1038/s42256-022-00465-9. ISSN  2522-5839. PMC 9544280 . PMID  36211133. 
  62. ^ Walter, Yoshija (27 de marzo de 2023). "La rápida economía competitiva del desarrollo del aprendizaje automático: un debate sobre los riesgos y beneficios sociales". AI and Ethics . 4 (2): 1. doi : 10.1007/s43681-023-00276-7 .
  63. ^ "La carrera armamentista de la IA ha comenzado. Empiece a preocuparse". Time . 16 de febrero de 2023 . Consultado el 17 de julio de 2023 .
  64. ^ Brimelow, Ben. "El cortometraje 'Slaughterbots' describe un futuro distópico en el que drones asesinos invaden el mundo". Business Insider . Consultado el 20 de julio de 2023 .
  65. ^ Mecklin, John (17 de julio de 2023). «'Escalada artificial': imaginando el futuro del riesgo nuclear». Boletín de los científicos atómicos . Consultado el 20 de julio de 2023 .
  66. ^ Bostrom, Nick (2013). "La prevención del riesgo existencial como prioridad global" (PDF) . Política global . 4 (1): 15–3. doi :10.1111/1758-5899.12002 – vía Riesgo existencial.
  67. ^ Doherty, Ben (17 de mayo de 2018). «El cambio climático es un 'riesgo de seguridad existencial' para Australia, según una investigación del Senado». The Guardian . ISSN  0261-3077 . Consultado el 16 de julio de 2023 .
  68. ^ MacAskill, William (2022). Lo que le debemos al futuro . Nueva York, Nueva York: Basic Books. ISBN 978-1-5416-1862-6.
  69. ^ abcd Ord, Toby (2020). "Capítulo 5: Riesgos futuros, inteligencia artificial no alineada". El precipicio: riesgo existencial y el futuro de la humanidad . Bloomsbury Publishing. ISBN 978-1-5266-0021-9.
  70. ^ McMillan, Tim (15 de marzo de 2024). «Navegando por el mayor desafío de la humanidad hasta ahora: los expertos debaten los riesgos existenciales de la IA». The Debrief . Consultado el 26 de septiembre de 2024 .
  71. ^ Kasirzadeh, Atoosa (2024). "Dos tipos de riesgo existencial de la IA: decisivo y acumulativo". arXiv : 2401.07836 [cs.CR].
  72. ^ Samuelsson, Paul Conrad (junio-julio de 2019). «Conciencia artificial: nuestro mayor desafío ético». Philosophy Now . N.º 132. Consultado el 19 de agosto de 2023 .
  73. ^ Kateman, Brian (24 de julio de 2023). «La IA debería tener miedo de los humanos». Time . Consultado el 19 de agosto de 2023 .
  74. ^ Fisher, Richard. "El monstruo inteligente que debes dejar que te devore". www.bbc.com . Consultado el 19 de agosto de 2023 .
  75. ^ More, Max (19 de junio de 2023). «Riesgo existencial frente a oportunidad existencial: un enfoque equilibrado del riesgo de la IA». Extropic Thoughts . Consultado el 14 de julio de 2023 .
  76. ^ Omohundro, SM (febrero de 2008). Los impulsos básicos de la IA. En AGI (vol. 171, págs. 483-492).
  77. ^ Carlsmith, Joseph (16 de junio de 2022). "¿Es la IA en busca de poder un riesgo existencial?". arXiv : 2206.13353 [cs.CY].
  78. ^ "'El Padrino de la IA' advierte de un 'escenario de pesadilla' en el que la inteligencia artificial comienza a buscar poder". Fortune . Consultado el 10 de junio de 2023 .
  79. ^ Wakefield, Jane (15 de septiembre de 2015). «¿Por qué Facebook está invirtiendo en IA?». BBC News . Archivado desde el original el 2 de diciembre de 2017. Consultado el 27 de noviembre de 2017 .
  80. ^ Yudkowsky, Eliezer (2011). "Se requieren sistemas de valores complejos para lograr futuros valiosos" (PDF) . Archivado (PDF) del original el 29 de septiembre de 2015. Consultado el 10 de agosto de 2020 .
  81. ^ ab Ord, Toby (2020). El precipicio: riesgo existencial y el futuro de la humanidad . Bloomsbury Publishing Plc. ISBN 978-1-5266-0019-6.
  82. ^ Yudkowsky, E. (agosto de 2011). Sistemas de valores complejos en IA amigable. En la Conferencia Internacional sobre Inteligencia Artificial General (pp. 388–393). Alemania: Springer, Berlín, Heidelberg.
  83. ^ Russell, Stuart (2014). «De mitos y luz de luna». Edge . Archivado desde el original el 19 de julio de 2016. Consultado el 23 de octubre de 2015 .
  84. ^ Dietterich, Thomas ; Horvitz, Eric (2015). "Rise of Concerns about AI: Reflections and Directions" (PDF) . Comunicaciones de la ACM . 58 (10): 38–40. doi :10.1145/2770869. S2CID  20395145. Archivado (PDF) desde el original el 4 de marzo de 2016 . Consultado el 23 de octubre de 2015 .
  85. ^ ab Yudkowsky, Eliezer (29 de marzo de 2023). "La carta abierta sobre la IA no llega lo suficientemente lejos". Time . Consultado el 16 de julio de 2023 .
  86. ^ Bostrom, Nick (1 de mayo de 2012). "La voluntad superinteligente: motivación y racionalidad instrumental en agentes artificiales avanzados". Mentes y máquinas . 22 (2): 71–85. doi :10.1007/s11023-012-9281-3. ISSN  1572-8641. S2CID  254835485. Mientras posean un nivel suficiente de inteligencia, los agentes que tengan cualquiera de una amplia gama de objetivos finales perseguirán objetivos intermedios similares porque tienen razones instrumentales para hacerlo.
  87. ^ Ngo, Richard; Chan, Lawrence; Sören Mindermann (22 de febrero de 2023). "El problema de la alineación desde una perspectiva de aprendizaje profundo". arXiv : 2209.00626 [cs.AI].
  88. ^ "Presentación de la superalineación". openai.com . Consultado el 16 de julio de 2023 .
  89. ^ Tilli, Cecilia (28 de abril de 2016). «¿Robots asesinos? ¿Empleos perdidos?». Slate . Archivado desde el original el 11 de mayo de 2016. Consultado el 15 de mayo de 2016 .
  90. ^ "Norvig vs. Chomsky y la lucha por el futuro de la IA". Tor.com . 21 de junio de 2011. Archivado desde el original el 13 de mayo de 2016 . Consultado el 15 de mayo de 2016 .
  91. ^ Graves, Matthew (8 de noviembre de 2017). «Why We Should Be Concerned About Artificial Superintelligence» (Por qué deberíamos preocuparnos por la superinteligencia artificial). Skeptic (revista estadounidense) . Vol. 22, núm. 2. Archivado desde el original el 13 de noviembre de 2017. Consultado el 27 de noviembre de 2017 .
  92. ^ Johnson, Phil (30 de julio de 2015). «Houston, tenemos un error: 9 fallos de software famosos en el espacio». IT World . Archivado desde el original el 15 de febrero de 2019. Consultado el 5 de febrero de 2018 .
  93. ^ Yampolskiy, Roman V. (8 de abril de 2014). "Seguridad de la función de utilidad en agentes con inteligencia artificial". Journal of Experimental & Theoretical Artificial Intelligence . 26 (3): 373–389. doi :10.1080/0952813X.2014.895114. S2CID  16477341. Nada impide que los sistemas automejoradores suficientemente inteligentes optimicen sus mecanismos de recompensa para optimizar el logro de su objetivo actual y, en el proceso, cometan un error que lleve a la corrupción de sus funciones de recompensa.
  94. ^ "¿La inteligencia artificial destruirá a la humanidad? Cinco razones para no preocuparse". Vox . 22 de agosto de 2014. Archivado desde el original el 30 de octubre de 2015 . Consultado el 30 de octubre de 2015 .
  95. ^ Bostrom, Nick (2014). Superinteligencia: caminos, peligros, estrategias . Oxford, Reino Unido: Oxford University Press. p. 116. ISBN. 978-0-19-967811-2.
  96. ^ Bostrom, Nick (2012). "Superintelligent Will" (PDF) . Nick Bostrom . Archivado (PDF) del original el 28 de noviembre de 2015. Consultado el 29 de octubre de 2015 .
  97. ^ Armstrong, Stuart (1 de enero de 2013). «General Purpose Intelligence: Arguing the Orthogonality Thesis» (Inteligencia de propósito general: argumentos a favor de la tesis de la ortogonalidad). Análisis y metafísica . 12. Archivado desde el original el 11 de octubre de 2014. Consultado el 2 de abril de 2020 .Texto completo disponible aquí Archivado el 25 de marzo de 2020 en Wayback Machine .
  98. ^ ab Chorost, Michael (18 de abril de 2016). «Let Artificial Intelligence Evolve». Slate . Archivado desde el original el 27 de noviembre de 2017. Consultado el 27 de noviembre de 2017 .
  99. ^ "¿Deberían los humanos temer el ascenso de las máquinas?" . The Telegraph (Reino Unido) . 1 de septiembre de 2015. Archivado desde el original el 12 de enero de 2022. Consultado el 7 de febrero de 2016 .
  100. ^ ab Shermer, Michael (1 de marzo de 2017). "Apocalypse AI". Scientific American . 316 (3): 77. Bibcode :2017SciAm.316c..77S. doi :10.1038/scientificamerican0317-77. PMID  28207698. Archivado desde el original el 1 de diciembre de 2017 . Consultado el 27 de noviembre de 2017 .
  101. ^ "Máquinas inteligentes: ¿Qué quiere Facebook con la IA?". BBC News . 14 de septiembre de 2015. Consultado el 31 de marzo de 2023 .
  102. ^ Baum, Seth (30 de septiembre de 2018). "Cómo contrarrestar la desinformación de la superinteligencia". Información . 9 (10): 244. doi : 10.3390/info9100244 . ISSN  2078-2489.
  103. ^ "El mito de la IA". www.edge.org . Archivado desde el original el 11 de marzo de 2020 . Consultado el 11 de marzo de 2020 .
  104. ^ Bostrom, Nick, Superinteligencia: caminos, peligros, estrategias (audiolibro), ISBN 978-1-5012-2774-5, OCLC  1061147095.
  105. ^ Sotala, Kaj; Yampolskiy, Roman V (19 de diciembre de 2014). "Respuestas al riesgo catastrófico de AGI: una encuesta". Escritura física . 90 (1): 12. Código Bib :2015PhyS...90a8001S. doi : 10.1088/0031-8949/90/1/018001 . ISSN  0031-8949.
  106. ^ Pistono, Federico; Yampolskiy, Roman V. (9 de mayo de 2016). Investigación poco ética: cómo crear una inteligencia artificial malévola . OCLC  1106238048.
  107. ^ Haney, Brian Seamus (2018). "Los peligros y las promesas de la inteligencia artificial general". Serie de documentos de trabajo de la SSRN . doi :10.2139/ssrn.3261254. ISSN  1556-5068. S2CID  86743553.
  108. ^ "¿Las IA superinteligentes serán nuestra perdición?". IEEE Spectrum . 3 de septiembre de 2014. Consultado el 13 de septiembre de 2024 .
  109. ^ Russell, Stuart (30 de agosto de 2017). «Inteligencia artificial: el futuro es superinteligente». Nature . 548 (7669): 520–521. Bibcode :2017Natur.548..520R. doi : 10.1038/548520a . S2CID  4459076.
  110. ^ abc Tegmark, Max (2017). Vida 3.0: Ser humano en la era de la inteligencia artificial (1.ª ed.). Incorporación de la seguridad de la IA: Knopf. ISBN 978-0-451-48507-6.
  111. ^ Kumar, Vibhore. "Council Post: En los albores de la inteligencia artificial general: equilibrar la abundancia con las salvaguardas existenciales". Forbes . Consultado el 23 de julio de 2023 .
  112. ^ ab "Pausen los experimentos gigantes de inteligencia artificial: una carta abierta". Future of Life Institute . Consultado el 30 de marzo de 2023 .
  113. ^ "Principios de la IA". Future of Life Institute . 11 de agosto de 2017. Archivado desde el original el 11 de diciembre de 2017. Consultado el 11 de diciembre de 2017 .
  114. ^ "Elon Musk y Stephen Hawking advierten de una carrera armamentista en el campo de la inteligencia artificial". Newsweek . 31 de enero de 2017. Archivado desde el original el 11 de diciembre de 2017 . Consultado el 11 de diciembre de 2017 .
  115. ^ Ford, Martin (2015). "Capítulo 9: Superinteligencia y singularidad". El auge de los robots: tecnología y la amenaza de un futuro sin empleo . Basic Books. ISBN 978-0-465-05999-7.
  116. ^ Bostrom, Nick (2016). "Nuevo epílogo de la edición de bolsillo". Superinteligencia: caminos, peligros, estrategias (edición de bolsillo).
  117. ^ "Por qué la IA incontrolable parece más probable que nunca". Time . 27 de febrero de 2023 . Consultado el 30 de marzo de 2023 . Por lo tanto, no es de extrañar que, según la encuesta sobre los impactos de la IA más reciente, casi la mitad de los 731 investigadores líderes en IA piensen que existe al menos un 10 % de posibilidades de que la IA a nivel humano conduzca a un "resultado extremadamente negativo" o un riesgo existencial.
  118. ^ ab Maas, Matthijs M. (6 de febrero de 2019). "¿Cuán viable es el control internacional de armas para la inteligencia artificial militar? Tres lecciones de las armas nucleares de destrucción masiva". Contemporary Security Policy . 40 (3): 285–311. doi :10.1080/13523260.2019.1576464. ISSN  1352-3260. S2CID  159310223.
  119. ^ ab "¿Impresionado por la inteligencia artificial? Los expertos dicen que la IAG es lo próximo que viene y que conlleva riesgos 'existenciales'". ABC News . 23 de marzo de 2023 . Consultado el 30 de marzo de 2023 .
  120. ^ Rawlinson, Kevin (29 de enero de 2015). «Bill Gates de Microsoft insiste en que la IA es una amenaza». BBC News . Archivado desde el original el 29 de enero de 2015. Consultado el 30 de enero de 2015 .
  121. ^ Washington Post (14 de diciembre de 2015). «Titanes tecnológicos como Elon Musk están gastando mil millones de dólares para salvarte de los terminators». Chicago Tribune . Archivado desde el original el 7 de junio de 2016.
  122. ^ "Del día del juicio final a la utopía: conozcamos a las facciones rivales de la IA" . Washington Post . 9 de abril de 2023 . Consultado el 30 de abril de 2023 .
  123. ^ "UC Berkeley – Centro para la IA compatible con los humanos (2016)". Open Philanthropy . 27 de junio de 2016 . Consultado el 30 de abril de 2023 .
  124. ^ "La misteriosa empresa de inteligencia artificial en la que invirtió Elon Musk está desarrollando ordenadores inteligentes que cambiarán el juego". Tech Insider . Archivado desde el original el 30 de octubre de 2015. Consultado el 30 de octubre de 2015 .
  125. ^ Clark 2015a.
  126. ^ "Elon Musk donará 10 millones de dólares de su propio dinero a la investigación en inteligencia artificial". Fast Company . 15 de enero de 2015. Archivado desde el original el 30 de octubre de 2015 . Consultado el 30 de octubre de 2015 .
  127. ^ Tilli, Cecilia (28 de abril de 2016). «¿Robots asesinos? ¿Empleos perdidos?». Slate . Archivado desde el original el 11 de mayo de 2016. Consultado el 15 de mayo de 2016 .
  128. ^ Khatchadourian, Raffi (23 de noviembre de 2015). "La invención del fin del mundo: ¿La inteligencia artificial nos traerá utopía o destrucción?". The New Yorker . Archivado desde el original el 29 de abril de 2019. Consultado el 7 de febrero de 2016 .
  129. ^ "Advertencia sobre el peligro de la IA: el pionero Geoffrey Hinton abandona Google para hablar libremente". www.arstechnica.com . 2023 . Consultado el 23 de julio de 2023 .
  130. ^ Garling, Caleb (5 de mayo de 2015). "Andrew Ng: Por qué el 'aprendizaje profundo' es un mandato para los humanos, no solo para las máquinas". Wired . Consultado el 31 de marzo de 2023 .
  131. ^ "¿Es la inteligencia artificial realmente una amenaza existencial para la humanidad?". MambaPost . 4 de abril de 2023.
  132. ^ "El caso contra los robots asesinos, de un hombre que trabaja en inteligencia artificial". Fusion.net . Archivado desde el original el 4 de febrero de 2016. Consultado el 31 de enero de 2016 .
  133. ^ "Los expertos en inteligencia artificial cuestionan la narrativa "catástrofe", incluidas las afirmaciones sobre el "riesgo de extinción". VentureBeat . 31 de mayo de 2023 . Consultado el 8 de julio de 2023 .
  134. ^ Coldewey, Devin (1 de abril de 2023). "Los especialistas en ética contraatacan la carta 'AI Pause' que, según ellos, 'ignora los daños reales'". TechCrunch . Consultado el 23 de julio de 2023 .
  135. ^ "DAIR (Distributed AI Research Institute)". Instituto DAIR . Consultado el 23 de julio de 2023 .
  136. ^ Gebru, Timnit; Torres, Émile P. (14 de abril de 2024). «El paquete TESCREAL: eugenesia y la promesa de utopía a través de la inteligencia general artificial». Primer lunes . doi : 10.5210/fm.v29i4.13636 . ISSN  1396-0466.
  137. ^ Kelly, Kevin (25 de abril de 2017). «El mito de una IA superhumana». Wired . Archivado desde el original el 26 de diciembre de 2021. Consultado el 19 de febrero de 2022 .
  138. ^ Jindal, Siddharth (7 de julio de 2023). "La búsqueda de la alineación de la IA por parte de OpenAI es inverosímil". Revista Analytics India . Consultado el 23 de julio de 2023 .
  139. ^ "Mark Zuckerberg responde a la paranoia de Elon Musk sobre la IA: 'La IA va a... ayudar a mantener seguras a nuestras comunidades'". Business Insider . 25 de mayo de 2018. Archivado desde el original el 6 de mayo de 2019 . Consultado el 6 de mayo de 2019 .
  140. ^ Dadich, Scott. "Barack Obama habla de inteligencia artificial, coches robot y el futuro del mundo". WIRED . Archivado desde el original el 3 de diciembre de 2017. Consultado el 27 de noviembre de 2017 .
  141. ^ Kircher, Madison Malone. "Obama sobre los riesgos de la IA: 'Solo hay que tener a alguien cerca del cable de alimentación'". Seleccionar todo . Archivado desde el original el 1 de diciembre de 2017 . Consultado el 27 de noviembre de 2017 .
  142. ^ Clinton, Hillary (2017). What Happened (Lo que pasó) . Simon and Schuster. pág. 241. ISBN 978-1-5011-7556-5.vía [1] Archivado el 1 de diciembre de 2017 en Wayback Machine.
  143. ^ "Elon Musk dice que la IA podría condenar a la civilización humana. Zuckerberg no está de acuerdo. ¿Quién tiene razón?". 5 de enero de 2023. Archivado desde el original el 8 de enero de 2018. Consultado el 8 de enero de 2018 .
  144. ^ "El fin del mundo por la IA preocupa a muchos estadounidenses. También lo hace el apocalipsis provocado por el cambio climático, las armas nucleares, la guerra y más". 14 de abril de 2023. Archivado desde el original el 23 de junio de 2023. Consultado el 9 de julio de 2023 .
  145. ^ Tyson, Alec; Kikuchi, Emma (28 de agosto de 2023). «Creciente preocupación pública sobre el papel de la inteligencia artificial en la vida diaria». Pew Research Center . Consultado el 17 de septiembre de 2023 .
  146. ^ Sotala, Kaj; Yampolskiy, Roman (19 de diciembre de 2014). "Respuestas al riesgo catastrófico de AGI: una encuesta". Escritura física . 90 (1).
  147. ^ Barrett, Anthony M.; Baum, Seth D. (23 de mayo de 2016). "Un modelo de vías hacia la catástrofe de la superinteligencia artificial para el análisis de riesgos y decisiones". Revista de Inteligencia Artificial Experimental y Teórica . 29 (2): 397–414. arXiv : 1607.07730 . doi :10.1080/0952813x.2016.1186228. ISSN  0952-813X. S2CID  928824.
  148. ^ Sotala, Kaj; Yampolskiy, Roman V (19 de diciembre de 2014). "Respuestas al riesgo catastrófico de AGI: una encuesta". Escritura física . 90 (1): 018001. Código bibliográfico : 2015PhyS...90a8001S. doi : 10.1088/0031-8949/90/1/018001 . ISSN  0031-8949. S2CID  4749656.
  149. ^ Ramamoorthy, Anand; Yampolskiy, Roman (2018). «Beyond MAD? The race for artificial general intelligence» (Más allá de la MAD: la carrera por la inteligencia artificial general). ICT Discoveries . 1 (Número especial 1). UIT: 1–8. Archivado desde el original el 7 de enero de 2022 . Consultado el 7 de enero de 2022 .
  150. ^ Carayannis, Elias G.; Draper, John (11 de enero de 2022). "Optimizando la paz a través de un Tratado de Paz Global Universal para limitar el riesgo de guerra de una superinteligencia artificial militarizada". AI & Society . 38 (6): 2679–2692. doi :10.1007/s00146-021-01382-y. ISSN  0951-5666. PMC 8748529 . PMID  35035113. S2CID  245877737. 
  151. ^ Carayannis, Elias G.; Draper, John (30 de mayo de 2023), "El desafío de la ciberguerra avanzada y el lugar de la ciberpaz", The Elgar Companion to Digital Transformation, Artificial Intelligence and Innovation in the Economy, Society and Democracy , Edward Elgar Publishing, págs. 32–80, doi :10.4337/9781839109362.00008, ISBN 978-1-83910-936-2, consultado el 8 de junio de 2023.
  152. ^ Vincent, James (22 de junio de 2016). «Los investigadores de inteligencia artificial de Google afirman que estos son los cinco problemas clave para la seguridad de los robots». The Verge . Archivado desde el original el 24 de diciembre de 2019. Consultado el 5 de abril de 2020 .
  153. ^ Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman y Dan Mané. "Problemas concretos en la seguridad de la IA". Preimpresión de arXiv arXiv:1606.06565 (2016).
  154. ^ Johnson, Alex (2019). «Elon Musk quiere conectar tu cerebro directamente a las computadoras, a partir del próximo año». NBC News . Archivado desde el original el 18 de abril de 2020. Consultado el 5 de abril de 2020 .
  155. ^ Torres, Phil (18 de septiembre de 2018). «Solo mejorando radicalmente la humanidad podemos salvarnos a todos». Revista Slate . Archivado desde el original el 6 de agosto de 2020. Consultado el 5 de abril de 2020 .
  156. ^ Barrett, Anthony M.; Baum, Seth D. (23 de mayo de 2016). "Un modelo de vías hacia una catástrofe de superinteligencia artificial para el análisis de riesgos y decisiones". Journal of Experimental & Theoretical Artificial Intelligence . 29 (2): 397–414. arXiv : 1607.07730 . doi :10.1080/0952813X.2016.1186228. S2CID  928824.
  157. ^ Tkachenko, Yegor (2024). "Posición: amnesia forzada como una forma de mitigar el riesgo potencial de sufrimiento silencioso en la IA consciente". Actas de la 41.ª Conferencia Internacional sobre Aprendizaje Automático . PMLR.
  158. ^ Piper, Kelsey (29 de marzo de 2023). «Cómo probar lo que un modelo de IA puede (y no debe) hacer». Vox . Consultado el 28 de julio de 2023 .
  159. ^ Piesing, Mark (17 de mayo de 2012). «La rebelión de la IA: los seres humanos serán subcontratados, no aniquilados». Wired . Archivado desde el original el 7 de abril de 2014. Consultado el 12 de diciembre de 2015 .
  160. ^ Coughlan, Sean (24 de abril de 2013). «¿Cómo se extinguirán los humanos?». BBC News . Archivado desde el original el 9 de marzo de 2014. Consultado el 29 de marzo de 2014 .
  161. ^ Bridge, Mark (10 de junio de 2017). «Hacer que los robots pierdan confianza en sí mismos podría impedir que tomen el control». The Times . Archivado desde el original el 21 de marzo de 2018. Consultado el 21 de marzo de 2018 .
  162. ^ McGinnis, John (verano de 2010). "Accelerating AI". Northwestern University Law Review . 104 (3): 1253–1270. Archivado desde el original el 15 de febrero de 2016 . Consultado el 16 de julio de 2014 . Por todas estas razones, verificar un tratado de renuncia global, o incluso uno limitado al desarrollo de armas relacionadas con la IA, es imposible... (Por razones diferentes a las nuestras, el Machine Intelligence Research Institute) considera que la renuncia a la IA general no es viable...
  163. ^ Sotala, Kaj; Yampolskiy, Roman (19 de diciembre de 2014). "Respuestas al riesgo catastrófico de IAG: una encuesta". Physica Scripta . 90 (1). En general, la mayoría de los autores rechazan las propuestas de renuncia generalizada... Las propuestas de renuncia sufren muchos de los mismos problemas que las propuestas de regulación, pero en mayor medida. No hay precedentes históricos de una tecnología general de usos múltiples similar a la IAG que haya sido renunciada con éxito para siempre, ni parece haber razones teóricas para creer que las propuestas de renuncia funcionarían en el futuro. Por lo tanto, no las consideramos una clase viable de propuestas.
  164. ^ Allenby, Brad (11 de abril de 2016). "La vara de medir cognitiva equivocada". Slate . Archivado desde el original el 15 de mayo de 2016 . Consultado el 15 de mayo de 2016 . Es una fantasía sugerir que el desarrollo y la implementación acelerados de tecnologías que, en conjunto, se consideran IA se detendrán o se limitarán, ya sea mediante la regulación o incluso mediante la legislación nacional.
  165. ^ ab Yampolskiy, Roman V. (2022). "Escepticismo sobre el riesgo de la IA". En Müller, Vincent C. (ed.). Filosofía y teoría de la inteligencia artificial 2021 . Estudios en filosofía aplicada, epistemología y ética racional. Vol. 63. Cham: Springer International Publishing. págs. 225–248. doi :10.1007/978-3-031-09153-7_18. ISBN 978-3-031-09153-7.
  166. ^ Baum, Seth (22 de agosto de 2018). "El escepticismo ante la superinteligencia como herramienta política". Información . 9 (9): 209. doi : 10.3390/info9090209 . ISSN  2078-2489.
  167. ^ "Elon Musk y otros líderes tecnológicos piden una pausa en la carrera de la IA 'fuera de control'". CNN . 29 de marzo de 2023 . Consultado el 30 de marzo de 2023 .
  168. ^ "Una carta abierta que pide una 'pausa' en la IA arroja luz sobre el intenso debate en torno a los riesgos frente a la publicidad exagerada". VentureBeat . 29 de marzo de 2023 . Consultado el 20 de julio de 2023 .
  169. ^ Vincent, James (14 de abril de 2023). «El director ejecutivo de OpenAI confirma que la empresa no está entrenando GPT-5 y que «no lo hará durante algún tiempo»». The Verge . Consultado el 20 de julio de 2023 .
  170. ^ "La carta abierta sobre la IA no llega lo suficientemente lejos". Time . 29 de marzo de 2023 . Consultado el 20 de julio de 2023 .
  171. ^ Domonoske, Camila (17 de julio de 2017). «Elon Musk advierte a los gobernadores: la inteligencia artificial plantea un «riesgo existencial»». NPR . Archivado desde el original el 23 de abril de 2020. Consultado el 27 de noviembre de 2017 .
  172. ^ Gibbs, Samuel (17 de julio de 2017). «Elon Musk: regular la IA para combatir la 'amenaza existencial' antes de que sea demasiado tarde». The Guardian . Archivado desde el original el 6 de junio de 2020. Consultado el 27 de noviembre de 2017 .
  173. ^ Kharpal, Arjun (7 de noviembre de 2017). "La IA está en su 'infancia' y es demasiado pronto para regularla, dice el director ejecutivo de Intel, Brian Krzanich". CNBC . Archivado desde el original el 22 de marzo de 2020 . Consultado el 27 de noviembre de 2017 .
  174. ^ Dawes, James (20 de diciembre de 2021). "La ONU no logra un acuerdo sobre la prohibición de los 'robots asesinos' mientras los países invierten miles de millones en la investigación de armas autónomas". The Conversation . Consultado el 28 de julio de 2023 .
  175. ^ ab Fassihi, Farnaz (18 de julio de 2023). «Funcionarios de la ONU instan a regular la inteligencia artificial». The New York Times . ISSN  0362-4331 . Consultado el 20 de julio de 2023 .
  176. ^ "La comunidad internacional debe afrontar urgentemente la nueva realidad de la inteligencia artificial generativa, subrayan los oradores mientras el Consejo de Seguridad debate los riesgos y las recompensas". Naciones Unidas . Consultado el 20 de julio de 2023 .
  177. ^ Sotala, Kaj; Yampolskiy, Roman V. (19 de diciembre de 2014). "Respuestas al riesgo catastrófico de AGI: una encuesta". Escritura física . 90 (1): 018001. Código bibliográfico : 2015PhyS...90a8001S. doi : 10.1088/0031-8949/90/1/018001 . ISSN  0031-8949.
  178. ^ Geist, Edward Moore (15 de agosto de 2016). «Ya es demasiado tarde para detener la carrera armamentística de la IA: debemos gestionarla». Boletín de los científicos atómicos . 72 (5): 318–321. Bibcode :2016BuAtS..72e.318G. doi :10.1080/00963402.2016.1216672. ISSN  0096-3402. S2CID  151967826.
  179. ^ "Amazon, Google, Meta, Microsoft y otras empresas tecnológicas aceptan las salvaguardas de inteligencia artificial establecidas por la Casa Blanca". AP News . 21 de julio de 2023 . Consultado el 21 de julio de 2023 .
  180. ^ "Amazon, Google, Meta, Microsoft y otras empresas acuerdan salvaguardas de IA". Redditch Advertiser . 21 de julio de 2023 . Consultado el 21 de julio de 2023 .
  181. ^ La Casa Blanca (30 de octubre de 2023). «Orden ejecutiva sobre el desarrollo y uso seguro, protegido y confiable de la inteligencia artificial». La Casa Blanca . Consultado el 19 de diciembre de 2023 .

Bibliografía