AlphaGo Zero es una versión del software Go AlphaGo de DeepMind . El equipo de AlphaGo publicó un artículo en la revista Nature el 19 de octubre de 2017, presentando AlphaGo Zero, una versión creada sin usar datos de juegos humanos, y más fuerte que cualquier versión anterior. [1] Al jugar partidas contra sí mismo, AlphaGo Zero superó la fuerza de AlphaGo Lee en tres días al ganar 100 partidas a 0, alcanzó el nivel de AlphaGo Master en 21 días y superó a todas las versiones anteriores en 40 días. [2]
El entrenamiento de inteligencia artificial (IA) sin conjuntos de datos derivados de expertos humanos tiene implicaciones significativas para el desarrollo de IA con habilidades sobrehumanas porque los datos de expertos "a menudo son caros, poco confiables o simplemente no están disponibles". [3] Demis Hassabis , cofundador y director ejecutivo de DeepMind, dijo que AlphaGo Zero era tan poderoso porque "ya no estaba restringido por los límites del conocimiento humano". [4] Además, AlphaGo Zero funcionó mejor que los modelos de aprendizaje profundo de refuerzo estándar (como las implementaciones de DQN [5] ) debido a su integración de la búsqueda de árboles de Monte Carlo. David Silver , uno de los primeros autores de los artículos de DeepMind publicados en Nature sobre AlphaGo, dijo que es posible tener algoritmos de IA generalizados eliminando la necesidad de aprender de los humanos. [6]
Google desarrolló más tarde AlphaZero , una versión generalizada de AlphaGo Zero que podía jugar ajedrez y Shōgi además de Go. [7] En diciembre de 2017, AlphaZero venció a la versión de 3 días de AlphaGo Zero al ganar 60 partidas a 40, y con 8 horas de entrenamiento superó a AlphaGo Lee en una escala Elo . AlphaZero también derrotó a un programa de ajedrez de primer nivel ( Stockfish ) y a un programa de Shōgi de primer nivel ( Elmo ). [8] [9]
La red en AlphaGo Zero es una ResNet con dos cabezas. [1] : Apéndice: Métodos
La red neuronal de AlphaGo Zero se entrenó utilizando TensorFlow , con 64 trabajadores de GPU y 19 servidores de parámetros de CPU. Solo se utilizaron cuatro TPU para la inferencia. La red neuronal inicialmente no sabía nada sobre Go más allá de las reglas . A diferencia de las versiones anteriores de AlphaGo, Zero solo percibía las piedras del tablero, en lugar de tener algunos casos extremos raros programados por humanos para ayudar a reconocer posiciones inusuales en el tablero de Go. La IA participó en el aprendizaje de refuerzo , jugando contra sí misma hasta que pudo anticipar sus propios movimientos y cómo esos movimientos afectarían el resultado del juego. [10] En los primeros tres días, AlphaGo Zero jugó 4,9 millones de juegos contra sí mismo en rápida sucesión. [11] Pareció desarrollar las habilidades necesarias para vencer a los mejores humanos en solo unos días, mientras que el AlphaGo anterior tardó meses de entrenamiento en alcanzar el mismo nivel. [12]
A modo de comparación, los investigadores también entrenaron una versión de AlphaGo Zero usando juegos humanos, AlphaGo Master, y descubrieron que aprendía más rápido, pero en realidad su rendimiento era peor a largo plazo. [13] DeepMind presentó sus hallazgos iniciales en un artículo a Nature en abril de 2017, que luego se publicó en octubre de 2017. [1]
El costo del hardware para un solo sistema AlphaGo Zero en 2017, incluidas las cuatro TPU, se ha estimado en alrededor de 25 millones de dólares. [14]
Según Hassabis, es probable que los algoritmos de AlphaGo sean de mayor beneficio para los dominios que requieren una búsqueda inteligente a través de un enorme espacio de posibilidades, como el plegamiento de proteínas (ver AlphaFold ) o la simulación precisa de reacciones químicas. [15] Las técnicas de AlphaGo son probablemente menos útiles en dominios que son difíciles de simular, como aprender a conducir un automóvil. [16] DeepMind declaró en octubre de 2017 que ya había comenzado a trabajar activamente para intentar utilizar la tecnología AlphaGo Zero para el plegamiento de proteínas, y afirmó que pronto publicaría nuevos hallazgos. [17] [18]
AlphaGo Zero fue ampliamente considerado como un avance significativo, incluso cuando se lo compara con su innovador predecesor, AlphaGo. Oren Etzioni, del Instituto Allen de Inteligencia Artificial, calificó a AlphaGo Zero como "un resultado técnico muy impresionante" tanto por "su capacidad para hacerlo como por su capacidad para entrenar el sistema en 40 días, en cuatro TPU". [10] The Guardian lo calificó como un "gran avance para la inteligencia artificial", citando a Eleni Vasilaki, de la Universidad de Sheffield , y Tom Mitchell, de la Universidad Carnegie Mellon , quienes lo calificaron de hazaña impresionante y "logro de ingeniería sobresaliente", respectivamente. [16] Mark Pesce, de la Universidad de Sydney, calificó a AlphaGo Zero como "un gran avance tecnológico" que nos lleva a un "territorio no descubierto". [19]
Gary Marcus , psicólogo de la Universidad de Nueva York , ha advertido de que, por lo que sabemos, AlphaGo puede contener "conocimiento implícito que tienen los programadores sobre cómo construir máquinas para jugar a problemas como Go" y será necesario probarlo en otros dominios antes de estar seguros de que su arquitectura básica es eficaz para mucho más que jugar a Go. Por el contrario, DeepMind está "confiado en que este enfoque se puede generalizar a una gran cantidad de dominios". [11]
En respuesta a los informes, el profesional de Go surcoreano Lee Sedol dijo: "La versión anterior de AlphaGo no era perfecta, y creo que por eso se creó AlphaGo Zero". Sobre el potencial de desarrollo de AlphaGo, Lee dijo que tendrá que esperar y ver, pero también dijo que afectará a los jugadores jóvenes de Go. Mok Jin-seok , quien dirige el equipo nacional de Go de Corea del Sur, dijo que el mundo del Go ya ha estado imitando los estilos de juego de versiones anteriores de AlphaGo y creando nuevas ideas a partir de ellos, y tiene la esperanza de que surjan nuevas ideas de AlphaGo Zero. Mok también agregó que las tendencias generales en el mundo del Go ahora están siendo influenciadas por el estilo de juego de AlphaGo. "Al principio, fue difícil de entender y casi sentí que estaba jugando contra un extraterrestre. Sin embargo, después de haber tenido una gran cantidad de experiencia, me he acostumbrado", dijo Mok. "Ahora hemos superado el punto en el que debatimos la brecha entre la capacidad de AlphaGo y los humanos. Ahora es entre computadoras". Según se informa, Mok ya ha comenzado a analizar el estilo de juego de AlphaGo Zero junto con jugadores de la selección nacional. "Aunque sólo hemos visto unos pocos partidos, nos ha dado la impresión de que AlphaGo Zero juega más como un humano que sus predecesores", dijo Mok. [20] El profesional chino de Go, Ke Jie, comentó sobre los notables logros del nuevo programa: "Un AlphaGo de autoaprendizaje puro es el más fuerte. Los humanos parecen redundantes frente a su automejora". [21]
El 5 de diciembre de 2017, el equipo de DeepMind publicó una preimpresión en arXiv , presentando AlphaZero, un programa que utiliza el enfoque generalizado de AlphaGo Zero, que logró en 24 horas un nivel de juego sobrehumano en ajedrez , shogi y Go , derrotando a los programas campeones mundiales, Stockfish , Elmo y la versión de 3 días de AlphaGo Zero en cada caso. [8]
AlphaZero (AZ) es una variante más generalizada del algoritmo AlphaGo Zero (AGZ) y es capaz de jugar shogi y ajedrez además de Go. Las diferencias entre AZ y AGZ incluyen: [8]
Hay disponible un programa de código abierto , Leela Zero , basado en las ideas de los artículos de AlphaGo. Utiliza una GPU en lugar de las TPU de las que dependen las versiones recientes de AlphaGo.
{{citation}}: CS1 maint: numeric names: authors list (link)