Human Compatible: Artificial Intelligence and the Problem of Control es un libro de no ficción de 2019 escrito por el científico informático Stuart J. Russell . En él se afirma que el riesgo que supone para la humanidad la inteligencia artificial (IA) avanzadaes una preocupación seria a pesar de la incertidumbre que rodea el progreso futuro de la IA. También propone un enfoque para el problema del control de la IA .
Russell comienza afirmando que el modelo estándar de investigación de IA, en el que la definición principal de éxito es mejorar cada vez más en el logro de objetivos rígidos especificados por los humanos, es peligrosamente equivocado. Tales objetivos pueden no reflejar lo que los diseñadores humanos pretenden, por ejemplo, al no tener en cuenta los valores humanos no incluidos en los objetivos. Si una IA desarrollada según el modelo estándar se volviera superinteligente , probablemente no reflejaría plenamente los valores humanos y podría ser catastrófica para la humanidad. Russell afirma que precisamente porque el cronograma para desarrollar una IA de nivel humano o superinteligente es muy incierto, la investigación de seguridad debe comenzar lo antes posible, ya que también es muy incierto cuánto tiempo llevaría completar dicha investigación.
Russell sostiene que el progreso continuo en la capacidad de la IA es inevitable debido a las presiones económicas. Esas presiones ya se pueden ver en el desarrollo de tecnologías de IA existentes, como los automóviles autónomos y el software de asistente personal . Además, la IA a nivel humano podría valer muchos billones de dólares. A continuación, Russell examina el debate actual en torno al riesgo de la IA. Ofrece refutaciones a una serie de argumentos comunes que descartan el riesgo de la IA y atribuye gran parte de su persistencia al tribalismo: los investigadores de la IA pueden ver las preocupaciones sobre el riesgo de la IA como un "ataque" a su campo. Russell reitera que existen razones legítimas para tomar en serio las preocupaciones sobre el riesgo de la IA y que las presiones económicas hacen que la innovación continua en IA sea inevitable.
Russell propone entonces un enfoque para desarrollar máquinas que puedan demostrar beneficios y que se centren en la deferencia hacia los humanos. A diferencia del modelo estándar de IA, donde el objetivo es rígido y seguro, este enfoque haría que el verdadero objetivo de la IA siga siendo incierto, y que la IA solo se acerque a la certeza al respecto a medida que obtenga más información sobre los humanos y el mundo. Esta incertidumbre, idealmente, evitaría malentendidos catastróficos sobre las preferencias humanas y alentaría la cooperación y la comunicación con los humanos. Russell concluye pidiendo una gobernanza más estricta de la investigación y el desarrollo de la IA, así como una introspección cultural sobre la cantidad adecuada de autonomía que se debe conservar en un mundo dominado por la IA.
Russell enumera tres principios que guían el desarrollo de máquinas beneficiosas. Destaca que estos principios no están destinados a ser codificados explícitamente en las máquinas, sino que están destinados a desarrolladores humanos. Los principios son los siguientes: [1] : 173
1. El único objetivo de la máquina es maximizar la realización de las preferencias humanas.
2. Al principio, la máquina no está segura de cuáles son esas preferencias.
3. La fuente última de información sobre las preferencias humanas es el comportamiento humano.
Las "preferencias" a las que se refiere Russell "son omnipresentes; cubren todo lo que pueda interesarte, arbitrariamente lejos en el futuro". [1] : 173 De manera similar, "comportamiento" incluye cualquier elección entre opciones, [1] : 177 y la incertidumbre es tal que debe asignarse alguna probabilidad, que puede ser bastante pequeña, a cada preferencia humana lógicamente posible. [1] : 201
Russell explora el aprendizaje de refuerzo inverso , en el que una máquina infiere una función de recompensa a partir del comportamiento observado, como una posible base para un mecanismo de aprendizaje de las preferencias humanas. [1] : 191–193
Varios críticos coincidieron con los argumentos del libro. Ian Sample, del periódico The Guardian, lo calificó de «convincente» y «el libro más importante sobre IA de este año». [2] Richard Waters, del Financial Times, elogió el «rigor intelectual vigorizante» del libro. [3] Kirkus Reviews lo respaldó como «un argumento sólido a favor de la planificación para el día en que las máquinas puedan ser más inteligentes que nosotros». [4]
Los mismos críticos caracterizaron el libro como "irónico e ingenioso", [2] o "accesible" [4] debido a su "estilo lacónico y humor seco". [3] Matthew Hutson del Wall Street Journal dijo que "el apasionante libro de Russell es profundo y brilla con ingeniosos comentarios ingeniosos". [5] Un crítico del Library Journal lo llamó "La guía adecuada en el momento adecuado". [6]
James McConnachie, del Times, escribió: "Este no es precisamente el libro popular que la IA necesita con urgencia. Sus partes técnicas son demasiado difíciles y las filosóficas demasiado fáciles. Pero es fascinante y significativo". [7]
Por el contrario, Human Compatible fue criticado en su reseña en Nature por David Leslie, un miembro de Ética en el Instituto Alan Turing ; y de manera similar en un ensayo de opinión del New York Times por Melanie Mitchell . Un punto de discordia fue si la superinteligencia es posible. Leslie afirma que Russell "no logra convencer de que alguna vez veremos la llegada de una 'segunda especie inteligente ' ", [8] y Mitchell duda que una máquina pueda alguna vez "superar la generalidad y flexibilidad de la inteligencia humana" sin perder "la velocidad, precisión y programabilidad de una computadora". [9] Un segundo desacuerdo fue si las máquinas inteligentes tenderían naturalmente a adoptar los llamados valores morales de "sentido común". En el experimento mental de Russell sobre un robot de geoingeniería que "asfixia a la humanidad para desacidificar los océanos", Leslie "lucha por identificar cualquier inteligencia". De manera similar, Mitchell cree que un robot inteligente tendería naturalmente a ser "templado por el sentido común, los valores y el juicio social sin los cuales la inteligencia general no puede existir". [10] [11]
El libro fue seleccionado para el premio Financial Times /McKinsey de 2019. [12]