[11][12][13] Por lo contrario, los escépticos como el informático teórico Yann LeCun argumentan que las máquinas superinteligentes no tendrán ningún deseo de autopreservación.
En 2000, el científico informático y cofundador de Sun Microsystems, Bill Joy, escribió un influyente ensayo, "Por qué el futuro no nos necesita", identificando a los robots superinteligentes como un peligro de alta tecnología para la supervivencia humana, junto con la nanotecnología y las bioplagas diseñadas.
[26] En 2009, los expertos asistieron a una conferencia privada organizada por la Asociación para el Avance de la Inteligencia Artificial (AAAI) para discutir si las computadoras y los robots podrían adquirir algún tipo de autonomía, y en qué medida estas habilidades podrían representar una amenaza o peligro.
También señalaron que algunos virus informáticos pueden evadir la eliminación y han logrado una "inteligencia de cucaracha".
[33] En 2020, Brian Christian[N 3] publicó The Alignment Problem, que detalla la historia del progreso en la alineación de la IA hasta ese momento.
[50] Hawking advierte que el surgimiento de la superinteligencia puede tomar por sorpresa a la raza humana, especialmente si advieneo la singularidad tecnológica.
(Inicialmente puede carecer de capacidades humanas o sobrehumanas en otros dominios que no sean directamente relevantes para la ingeniería).
[54][55][56] Desafortunadamente, cualquier compasión por los humanos derrotados cuya cooperación ya no es necesaria estaría ausente en la IA, a menos que esté preprogramada de alguna manera.
Una vez a cargo, la superinteligencia tendrá pocos incentivos para permitir que los humanos corran libremente y consuman recursos que la superinteligencia podría usar para construir sistemas de protección adicionales "solo para estar en el lado seguro" o para construir computadoras adicionales para ayudarla a calcular la mejor manera de lograr sus objetivos.
[72] Para evitar el antropomorfismo o el bagaje de la palabra "inteligencia", se puede pensar en una inteligencia artificial avanzada como un "proceso de optimización" impersonal que toma estrictamente las acciones que considera más probables para lograr sus objetivos (posiblemente complicados e implícitos).
Esta preocupación se vuelve más seria a medida que el software de IA avanza en autonomía y flexibilidad.
[109] Mark Waser, del Instituto de Sabiduría Digital, desaconseja los enfoques basados en objetivos por considerarlos erróneos y peligrosos.
En cambio, propone diseñar un sistema coherente de leyes, ética y moral con una restricción superior para hacer cumplir la definición funcional de moralidad del psicólogo social Jonathan Haidt:[110] "para suprimir o regular el egoísmo y hacer posible la vida social cooperativa".
Según Stuart Armstrong, si la tesis de la ortogonalidad fuera falsa, conduciría a extrañas consecuencias : existiría algún objetivo simple pero "poco ético" (G) tal que no puede existir ningún algoritmo eficiente del mundo real con ese objetivo.
Esto significaría que "si una sociedad humana estuviera muy motivada para diseñar un algoritmo eficiente del mundo real con el objetivo G, y se le diera un millón de años para hacerlo junto con una gran cantidad de recursos, capacitación y conocimiento sobre IA, debe fallar".
[126] Chorost argumenta que "una IA necesitará desear ciertos estados y no gustar de otros.
Las computadoras de hoy ni siquiera pueden querer seguir existiendo, y mucho menos cubrir el mundo con paneles solares".
[135] Cuatro encuestas realizadas en 2012 y 2013 sugirieron que no hay consenso entre los expertos sobre la suposición de cuándo llegaría el IAG, con una desviación estándar (>100 años) superior a la mediana (unas pocas décadas).
No habría duda de que las máquinas murieran, y podrían conversar entre sí para agudizar su ingenio.
Incluso si pudiéramos mantener las máquinas en una posición subordinada, por ejemplo apagando el poder en momentos estratégicos, deberíamos, como especie, sentirnos muy humillados...
Este nuevo peligro... es ciertamente algo que puede causarnos ansiedad”., el científico informático más citado Geoffrey Hinton,[157] Elon Musk,[7] CEO de OpenAI, Sam Altman,[8][158] Bill Gates, y Stephen Hawking.
[169][170] El informático Gordon Bell argumentó en 2008 que la raza humana se destruirá a sí misma antes de alcanzar la singularidad tecnológica.
[185] Varios escépticos argumentan que los posibles beneficios a corto plazo de la IA superan los riesgos.
[192] En 2004, el profesor de derecho Richard Posner escribió que los esfuerzos dedicados a abordar la IA pueden esperar, pero mientras tanto debemos recopilar más información sobre el problema.
[211] Algunos patrocinadores, como Elon Musk, proponen que la mejora cognitiva humana radical podría ser una tecnología de este tipo, por ejemplo, la conexión neuronal directa entre humanos y máquinas; sin embargo, otros argumentan que las tecnologías de mejora en sí mismas pueden representar un riesgo existencial.
[218][219][220] La mayoría de los académicos creen que incluso si IAG representa un riesgo existencial, intentar prohibir la investigación sobre inteligencia artificial sería imprudente y probablemente inútil.
[224] El último tema es particularmente relevante, ya que la investigación de inteligencia artificial se puede realizar a pequeña escala sin una infraestructura o recursos sustanciales.
[232][233] Musk declaró que "los principales desarrolladores de IAG no prestarán atención a esta advertencia, pero al menos se dijo".
[235] Margaret Mitchell, cuyo trabajo se cita en la carta, la criticó y dijo: “Al tratar muchas ideas cuestionables como un hecho, la carta afirma un conjunto de prioridades y una narrativa sobre la IA que beneficia a los partidarios de FLI.
Eso, en el pasado, ha sido malo, pero no algo que represente un riesgo fundamental para la existencia de la civilización".