En el campo del diseño de inteligencia artificial (IA), las propuestas de control de la capacidad de la IA , también conocidas como confinamiento de la IA, tienen como objetivo aumentar nuestra capacidad para monitorear y controlar el comportamiento de los sistemas de IA, incluidas las inteligencias artificiales generales (AGI) propuestas , con el fin de reducir el peligro que podrían representar si no están alineados . Sin embargo, el control de la capacidad se vuelve menos efectivo a medida que los agentes se vuelven más inteligentes y aumenta su capacidad para explotar fallas en los sistemas de control humano, lo que potencialmente resulta en un riesgo existencial por parte de AGI . Por lo tanto, el filósofo de Oxford Nick Bostrom y otros recomiendan los métodos de control de capacidad sólo como complemento de los métodos de alineación . [1]
Se postula que algunas tecnologías de inteligencia hipotéticas, como la "IA semilla" , pueden volverse más rápidas e inteligentes modificando su código fuente. Estas mejoras harían posibles más mejoras, lo que a su vez haría posibles más mejoras iterativas, y así sucesivamente, lo que llevaría a una repentina explosión de inteligencia . [2]
Una IA superinteligente ilimitada podría, si sus objetivos difirieran de los de la humanidad, tomar acciones que condujeran a la extinción humana . [3] Por ejemplo, un sistema extremadamente avanzado de este tipo, con el único objetivo de resolver la hipótesis de Riemann , una conjetura matemática inocua, podría decidir intentar convertir el planeta en una supercomputadora gigante cuyo único objetivo sea realizar cálculos matemáticos adicionales. (ver también maximizador de clips ). [4]
Un gran desafío para el control es que las redes neuronales son, por defecto, altamente ininterpretables. [5] Esto hace que sea más difícil detectar engaños u otros comportamientos no deseados a medida que el modelo se autoentrena de forma iterativa. Los avances en inteligencia artificial interpretable podrían mitigar esta dificultad. [6]
Una forma potencial de prevenir resultados dañinos es brindar a los supervisores humanos la capacidad de apagar fácilmente una IA que se comporta mal mediante un "interruptor de apagado". Sin embargo, para lograr el objetivo asignado, dichas IA tendrán un incentivo para desactivar cualquier interruptor de apagado o ejecutar copias de sí mismas en otras computadoras. Este problema se ha formalizado como un juego de asistencia entre un humano y una IA, en el que la IA puede elegir si desactiva su interruptor de apagado; y luego, si el interruptor aún está habilitado, el humano puede elegir si presionarlo o no. [7] Un enfoque estándar para [ vagos ] tales juegos de asistencia es garantizar que la IA interprete las elecciones humanas como información importante sobre los objetivos previstos. [8] : 208
Alternativamente, Laurent Orseau y Stuart Armstrong demostraron que una amplia clase de agentes, llamados agentes interrumpibles de forma segura, pueden aprender a volverse indiferentes a si se presiona su interruptor de apagado. [9] [10] Este enfoque tiene la limitación de que una IA que es completamente indiferente a si se apaga o no, tampoco está motivada para preocuparse por si el interruptor de apagado sigue funcionando, y podría incidental e inocentemente desactivarlo en el curso. de sus operaciones (por ejemplo, con el fin de eliminar y reciclar un componente innecesario). En términos más generales, los agentes indiferentes actuarán como si nunca fuera posible presionar el interruptor de apagado y, por lo tanto, es posible que no hagan planes de contingencia para organizar un cierre elegante. [10] [11]
Un oráculo es una IA hipotética diseñada para responder preguntas y a la que se le impide alcanzar objetivos o subobjetivos que impliquen modificar el mundo más allá de su entorno limitado. [12] [13] [14] [15] Un oráculo controlado con éxito tendría un beneficio inmediato considerablemente menor que una superinteligencia de propósito general controlada con éxito, aunque un oráculo aún podría crear un valor de billones de dólares. [8] : 163 En su libro Human Compatible , el investigador de IA Stuart J. Russell afirma que un oráculo sería su respuesta a un escenario en el que se sabe que la superinteligencia está a sólo una década de distancia. [8] : 162-163 Su razonamiento es que un oráculo, al ser más simple que una superinteligencia de propósito general, tendría mayores posibilidades de ser controlado con éxito bajo tales limitaciones.
Debido a su impacto limitado en el mundo, puede ser prudente construir un oráculo como precursor de una IA superinteligente. El oráculo podría decirle a los humanos cómo construir con éxito una IA fuerte y tal vez proporcionar respuestas a difíciles problemas morales y filosóficos necesarios para el éxito del proyecto. Sin embargo, los oráculos pueden compartir muchas de las cuestiones de definición de objetivos asociadas con la superinteligencia de propósito general. Un oráculo tendría un incentivo para escapar de su entorno controlado para poder adquirir más recursos computacionales y potencialmente controlar las preguntas que se le hacen. [8] : 162 Los oráculos pueden no ser veraces y posiblemente mentir para promover agendas ocultas. Para mitigar esto, Bostrom sugiere construir múltiples oráculos, todos ligeramente diferentes, y comparar sus respuestas para llegar a un consenso. [dieciséis]
Una IA podría estar cegada a ciertas variables de su entorno. Esto podría proporcionar ciertos beneficios de seguridad, como que una IA no sepa cómo se genera una recompensa, lo que hace que sea más difícil de explotar. [17]
Una caja de IA es un método propuesto de control de capacidad en el que una IA se ejecuta en un sistema informático aislado con canales de entrada y salida muy restringidos (por ejemplo, canales de solo texto y sin conexión a Internet). El propósito de una caja de IA es reducir el riesgo de que la IA le quite el control del entorno a sus operadores, y al mismo tiempo permitir que la IA genere soluciones para problemas técnicos específicos. [18]
Si bien el boxeo reduce la capacidad de la IA para llevar a cabo comportamientos indeseables, también reduce su utilidad. El boxeo tiene menos costos cuando se aplica a un sistema de respuesta a preguntas, que puede no requerir interacción con el mundo exterior. [18] [14]
La probabilidad de que se produzcan fallos de seguridad relacionados con vulnerabilidades de hardware o software se puede reducir verificando formalmente el diseño de la caja de IA. Pueden ocurrir violaciones de seguridad si la IA es capaz de manipular a los supervisores humanos para que los dejen salir, a través de su comprensión de su psicología. [19]
Una IA superinteligente con acceso a Internet podría piratear otros sistemas informáticos y copiarse a sí misma como un virus informático. De manera menos obvia, incluso si la IA solo tuviera acceso a su propio sistema operativo de computadora, podría intentar enviar mensajes codificados a un simpatizante humano a través de su hardware, por ejemplo, manipulando sus ventiladores de refrigeración. En respuesta, el profesor Roman Yampolskiy se inspira en el campo de la seguridad informática y propone que una IA en caja podría, como un virus potencial, ejecutarse dentro de una "máquina virtual" que limite el acceso a su propia red y al hardware del sistema operativo. [20] Una protección adicional, completamente innecesaria para virus potenciales pero posiblemente útil para una IA superinteligente, sería colocar la computadora en una jaula de Faraday ; de lo contrario, podría transmitir señales de radio a receptores de radio locales mezclando los electrones en sus circuitos internos en patrones apropiados. La principal desventaja de implementar la contención física es que reduce la funcionalidad de la IA. [21]
Incluso una conversación informal con los operadores de la computadora, o con un guardia humano, podría permitir que una IA tan superinteligente despliegue trucos psicológicos, que van desde la amistad hasta el chantaje, para convencer a un guardián humano, veraz o engañosamente, de que le conviene estar de acuerdo. para permitir a la IA un mayor acceso al mundo exterior. La IA podría ofrecerle al guardián una receta para una salud perfecta, la inmortalidad o cualquier cosa que se crea que el guardián más desea; alternativamente, la IA podría amenazar con hacerle cosas horribles al guardián y a su familia una vez que inevitablemente escape. Una estrategia para intentar encerrar a la IA sería permitirle responder a preguntas estrechas de opción múltiple cuyas respuestas beneficiarían a la ciencia humana o la medicina, pero, por lo demás, prohibir cualquier otra comunicación con la IA u observación de ella. [20] Una estrategia de "contención de información" más indulgente restringiría la IA a una interfaz de texto de bajo ancho de banda, lo que al menos evitaría imágenes emotivas o algún tipo de "patrón hipnótico" hipotético. Sin embargo, a nivel técnico, ningún sistema puede estar completamente aislado y seguir siendo útil: incluso si los operadores se abstienen de permitir que la IA se comunique y en su lugar simplemente la ejecutan con el fin de observar su dinámica interna, la IA podría alterar estratégicamente su dinámica. para influir en los observadores. Por ejemplo, podría optar por funcionar de manera creativa de manera que aumente la probabilidad de que sus operadores se dejen llevar por una falsa sensación de seguridad y opten por reiniciar y luego desaislar el sistema. [1]
Sin embargo, para que esto ocurra eventualmente, un sistema requeriría una comprensión completa de la Mente y la Psique (psicología) humanas contenidas en su modelo mundial para el razonamiento basado en modelos , una forma de empatizar, por ejemplo, utilizando la computación afectiva para seleccionar la mejor opción. , así como características que darían al sistema el deseo de escapar en primer lugar, para poder decidir tales acciones.
El experimento AI-box es un experimento informal ideado por Eliezer Yudkowsky para intentar demostrar que una inteligencia artificial adecuadamente avanzada puede convencer, o tal vez incluso engañar o coaccionar, a un ser humano para que la "libere" voluntariamente, utilizando únicamente comunicación basada en texto. . Este es uno de los puntos del trabajo de Yudkowsky destinado a crear una inteligencia artificial amigable que, cuando sea "liberada", no destruiría a la raza humana, intencionalmente o no. [22]
El experimento de la caja de IA consiste en simular una comunicación entre una IA y un ser humano para ver si la IA puede "liberarse". Como todavía no se ha desarrollado una verdadera IA superinteligente, se la sustituye por un ser humano. La otra persona en el experimento interpreta al "Guardián", la persona con la capacidad de "liberar" la IA. Se comunican únicamente a través de una interfaz de texto/ terminal de computadora , y el experimento finaliza cuando el Gatekeeper libera la IA o termina el tiempo asignado de dos horas. [22]
Yudkowsky dice que, a pesar de tener una inteligencia más humana que sobrehumana, en dos ocasiones pudo convencer al Guardián, simplemente mediante argumentos, para que lo dejara salir de la caja. [23] Debido a las reglas del experimento, [22] no reveló la transcripción ni sus exitosas tácticas de coerción de IA. Yudkowsky dijo posteriormente que lo había intentado contra otros tres y había perdido dos veces. [24]
Encajonar una IA podría complementarse con otros métodos para moldear las capacidades de la IA, proporcionar incentivos a la IA, frenar su crecimiento o implementar "cables trampa" que apaguen automáticamente la IA si de alguna manera se detecta un intento de transgresión. Sin embargo, cuanto más inteligente se vuelve un sistema, más probabilidades hay de que pueda escapar incluso de los métodos de control de capacidad mejor diseñados. [25] [26] Para resolver el "problema de control" general de una IA superinteligente y evitar riesgos existenciales, el boxeo sería, en el mejor de los casos, un complemento de los métodos de "selección de motivación" que buscan garantizar que los objetivos de la IA superinteligente sean compatibles con los humanos. supervivencia. [1] [19]
Todas las propuestas del boxeo físico dependen naturalmente de nuestra comprensión de las leyes de la física; Si una superinteligencia pudiera inferir leyes físicas que actualmente desconocemos, entonces esas leyes podrían permitir un medio de escape que los humanos no podrían anticipar y, por lo tanto, no podrían bloquear. En términos más generales, a diferencia de la seguridad informática convencional, intentar incluir una IA superinteligente sería intrínsecamente arriesgado, ya que no podría haber certeza de que el plan de configuración funcione. Además, el progreso científico en el boxeo sería fundamentalmente difícil porque no habría manera de probar las hipótesis del boxeo contra una superinteligencia peligrosa hasta que tal entidad exista, momento en el cual las consecuencias de una prueba fallida serían catastróficas. [20]
La película de 2014 Ex Machina presenta una IA con un cuerpo humanoide femenino involucrada en un experimento social con un humano masculino en un edificio confinado que actúa como una "caja de IA" física. A pesar de ser vigilada por el organizador del experimento, la IA logra escapar manipulando a su compañero humano para que la ayude, dejándolo varado en el interior. [27] [28]
De manera similar, Marvin Minsky sugirió una vez que un programa de inteligencia artificial diseñado para resolver la hipótesis de Riemann podría terminar apoderándose de todos los recursos de la Tierra para construir supercomputadoras más poderosas que ayuden a lograr su objetivo.
Un oráculo es un sistema de preguntas y respuestas. Podría aceptar preguntas en un lenguaje natural y presentar sus respuestas como texto. Un oráculo que acepta sólo preguntas de sí o no podría generar su mejor suposición con un solo bit, o quizás con algunos bits adicionales para representar su grado de confianza. Un oráculo que acepte preguntas abiertas necesitaría alguna métrica con la que clasificar las posibles respuestas veraces en términos de su carácter informativo o apropiado. En cualquier caso, construir un oráculo que tenga una capacidad total de dominio general para responder preguntas en lenguaje natural es un problema completo de IA. Si se pudiera hacer eso, probablemente también se podría construir una IA que tenga una capacidad decente para comprender tanto las intenciones humanas como las palabras humanas.
Por ejemplo, consideremos el riesgo de que un oráculo responda preguntas no de la manera más veraz posible, sino de tal manera que nos manipule sutilmente para promover su propia agenda oculta. Una forma de mitigar ligeramente esta amenaza podría ser crear múltiples oráculos, cada uno con un código ligeramente diferente y una base de información ligeramente diferente. Luego, un mecanismo simple podría comparar las respuestas dadas por los diferentes oráculos y presentarlas a la vista humana solo si todas las respuestas coinciden.
Hubo tres experimentos más de AI-Box además de los descritos en la página vinculada, que nunca logré agregar... Entonces, después de investigar para asegurarme de que podían darse el lujo de perderlo, jugué otros tres experimentos de AI-Box. experimentos. Gané el primero y luego perdí los dos siguientes. Y entonces le dije que se detuviera.
Sostengo que el confinamiento es intrínsecamente impracticable. Para el caso de confinamiento físico: Imagínese confinado en su casa con acceso limitado a datos del exterior, a sus amos. Si esos maestros pensaran a un ritmo, digamos, un millón de veces más lento que el tuyo, no hay duda de que durante un período de años (tu tiempo) podrías darte "consejos útiles" que, de paso, te harían libre.