Un jugador de póquer informático es un programa informático diseñado para jugar al póquer (generalmente la versión Texas Hold'em ) contra oponentes humanos u otros oponentes informáticos. Se lo conoce comúnmente como robot de póquer o simplemente bot . A partir de 2019, las computadoras pueden vencer a cualquier jugador humano en el póquer. [1] [2] [3]
Estos bots o programas informáticos se utilizan a menudo en situaciones de póquer en línea , ya sea como oponentes legítimos para jugadores humanos o como una forma de hacer trampa . A partir de 2020, todo uso de asistencia en tiempo real (RTA) o bots automatizados se considera una trampa en todos los sitios de póquer en línea, aunque el nivel de aplicación de la ley por parte de los operadores del sitio varía considerablemente. [ cita requerida ]
El uso de bots de jugador o asistencia informática mientras se juega al póquer en línea está prohibido en la mayoría de los sitios en línea, si no en todos. Las medidas que se toman en caso de incumplimiento son una prohibición permanente y la confiscación de las ganancias. [ cita requerida ] Un tipo de bot puede interactuar con el cliente de póquer (en otras palabras, jugar por sí mismo como un jugador automático) sin la ayuda de su operador humano. La asistencia en tiempo real (RTA) es otro método de uso de programas informáticos. La RTA es cuando un jugador humano utiliza un programa llamado "solucionador" como PioSOLVER o PokerSnowie, [4] que se ejecuta en una computadora diferente, [5] para tomar sus decisiones.
La cuestión de la ventaja injusta es doble. Por un lado, los bots pueden jugar durante muchas horas seguidas sin debilidades humanas como la fatiga y pueden soportar las variaciones naturales del juego sin verse influenciados por las emociones humanas (o " tilt "). En segundo lugar, desde 2019, el programa informático Pluribus (bot de póquer) tiene tanto éxito en la lectura de faroles, el cálculo de probabilidades y el ajuste a la estrategia que vence constantemente a los jugadores de póquer profesionales en Hold'em sin límite para 6 jugadores. [6] [7] [8]
Si bien los términos y condiciones de los sitios de póquer generalmente prohíben el uso de bots, el nivel de cumplimiento depende del operador del sitio. Algunos buscarán y prohibirán a los usuarios de bots mediante el uso de una variedad de herramientas de software. El cliente de póquer se puede programar para intentar detectar bots, aunque esto es controvertido en sí mismo, ya que podría verse como equivalente a incrustar software espía en el software del cliente. [ cita requerida ] Otro método es usar CAPTCHAs a intervalos aleatorios durante el juego para atrapar bots automatizados, aunque no es efectivo contra la Asistencia en Tiempo Real.
Los “bots de la casa” pueden suponer un conflicto de intereses. Según la definición más estricta, un bot de la casa es un jugador automatizado operado por la propia sala de póquer en línea. Este tipo de bots serían el equivalente a los vendedores ambulantes de las salas de póquer tradicionales .
Se supone que tanto los shills de casinos físicos como los bots de casinos en línea no deben tener acceso a ninguna información que no esté disponible para cualquier otro jugador en la mano. El problema es que en un entorno en línea, la casa no tiene forma de demostrar que sus bots no están recibiendo información confidencial del servidor de cartas. Esto se ve agravado aún más por la facilidad con la que se puede lograr el intercambio clandestino de información en un entorno digital. Es esencialmente imposible incluso para la casa demostrar que no controla a algunos jugadores.
Al igual que en los juegos de ajedrez , Go (juego) y muchos otros juegos, los sistemas de inteligencia artificial superan incluso a los mejores humanos en póquer. [9] [10] El póquer es un juego de información imperfecta (porque algunas cartas en juego están ocultas), lo que hace más difícil para cualquiera (incluido un ordenador) deducir el resultado final de la mano. Debido a esta falta de información, los programadores de ordenadores solían tener que implementar sistemas basados en el teorema de Bayes , el equilibrio de Nash , la simulación de Monte Carlo o las redes neuronales , todas ellas técnicas imperfectas. Pluribus , sin embargo, perfeccionó el póquer al mirar solo unos pocos movimientos hacia adelante para determinar qué acción tomar, en lugar de intentar evaluar todos los movimientos hasta el final del juego.
Las IA más antiguas, como PokerSnowie y Claudico, se crearon permitiendo que la computadora determinara la mejor estrategia posible al permitirle jugar a sí misma una enorme cantidad de veces. Durante años, este fue el enfoque de la IA del póquer, en lugar de intentar crear una computadora que jugara como un humano. Esto dio como resultado un tamaño de apuesta impar y una estrategia muy diferente a la que los humanos están acostumbrados a ver.
Los métodos se desarrollaron primero para aproximarse a la estrategia de póquer perfecta desde la perspectiva de la teoría de juegos en el juego mano a mano (dos jugadores) y luego para el juego de varios jugadores. La estrategia perfecta tiene múltiples significados en este contexto. Desde un punto de vista óptimo de la teoría de juegos, una estrategia perfecta es aquella que no puede esperar perder ante la estrategia de ningún otro jugador; sin embargo, la estrategia óptima puede variar en presencia de jugadores subóptimos que tienen debilidades que pueden explotarse. En este caso, una estrategia perfecta es aquella que modela correcta o fielmente esas debilidades y las aprovecha para obtener ganancias, como las explicadas anteriormente.
La IA se abrió paso hasta alcanzar un rendimiento sobrehumano en el póquer durante la década de 2010, con la siguiente cronología. En 2015, las computadoras resolvieron el hold'em con límite cara a cara a través de Cepheus . Alrededor de 2018, Libratus demostró una habilidad sobrehumana en el hold'em sin límite cara a cara. En 2019, Pluribus (una versión más nueva de Libratus) [11] demostró una habilidad sobrehumana en el hold'em sin límite para seis jugadores, la variedad de póquer más jugada en el mundo. [12] En 2021, Microsoft lanzó comercialmente el antiguo programa de juego de póquer, Libratus, que luego venció a cuatro jugadores de póquer profesionales en una competencia de póquer de 20 días de duración en el Rivers Casino. [13]
Neo Poker Lab era un equipo científico consolidado centrado en la investigación de la inteligencia artificial del póquer. Durante varios años desarrolló y aplicó algoritmos y procedimientos de última generación como la minimización del arrepentimiento y la aproximación del equilibrio de búsqueda de gradiente, árboles de decisión, métodos de búsqueda recursiva y algoritmos expertos para resolver una variedad de problemas relacionados con el juego del póquer. El sitio web de Neo Poker Lab, https://www.neopokerlab.com, ya no está en funcionamiento.
Hasta 2017, un equipo de la Universidad de Auckland estaba formado por un pequeño número de científicos que empleaban el razonamiento basado en casos para crear y mejorar agentes de póquer Texas Hold'em. El grupo aplicó diferentes técnicas de IA a varios juegos, incluida la participación en los proyectos comerciales Small Worlds y Civilization (videojuego) .
Hasta 2019, una gran parte de la investigación sobre jugadores de póquer informático se estaba realizando en la Universidad de Alberta por el Computer Poker Research Group, dirigido por el Dr. Michael Bowling. El grupo desarrolló los agentes Poki , PsOpti , Hyperborean y Polaris . Poki ha sido licenciado para el juego de entretenimiento STACKED con el jugador de póquer canadiense Daniel Negreanu . PsOpti estaba disponible bajo el nombre "SparBot" en el programa de entrenamiento de póquer "Poker Academy". La serie de programas Hyperborean ha competido en la Competencia Anual de Póquer Informático, y recientemente obtuvo tres medallas de oro en seis eventos en la competencia de 2012. La misma línea de investigación también produjo Polaris , que jugó contra profesionales humanos en 2007 y 2008, y se convirtió en el primer programa de póquer informático en ganar una competencia de póquer significativa.
En enero de 2015, un artículo en Science [14] escrito por Michael Bowling, Neil Burch, Michael Johanson y Oskari Tammelin afirmó que su robot de póquer Cepheus había "resuelto de manera esencialmente débil" el juego de Texas Hold'em con límite mano a mano. [15] [16] [17]
T. Sandholm y A. Gilpin de la Universidad Carnegie Mellon comenzaron a investigar sobre la inteligencia artificial para el póquer en 2004, comenzando con un agente imbatible para el juego de 3 cartas llamado Rhode-Island Hold 'em. El siguiente paso fue GS1, que superó a los mejores robots de póquer disponibles comercialmente. En 2006, los agentes de póquer de este grupo comenzaron a participar en competiciones informáticas anuales. "En algún momento tendremos un programa mejor que los mejores jugadores humanos", afirmó Sandholm, cuyo robot, Claudico , se enfrentó a cuatro oponentes humanos en 2015.
En 2017, el software del programa, Libratus , se enfrentó a cuatro jugadores de póquer profesionales. Al final del experimento, los cuatro jugadores humanos habían perdido un total combinado de 1,8 millones de dólares de dinero simulado a manos de Libratus. [18]
En 2019, Libratus fue reemplazado por la versión final llamada Pluribus (bot de póquer) .
Una de las primeras competiciones de bots de póquer sin límite fue organizada en 2004 por la Conferencia Internacional sobre Modelado Cognitivo. [19] El torneo contó con la participación de cinco bots de varias universidades de todo el mundo. El ganador fue Ace Gruber, de la Universidad de Toronto . [20]
La Asociación de Maquinaria Informática (ACM) solía organizar competiciones en las que los participantes presentaban un programa capaz de jugar al póquer en su plataforma específica. Los organizadores del evento llevaban a cabo las competiciones operando el programa y comunicando los resultados. [ cita requerida ]
En el verano de 2005, la sala de póquer en línea Golden Palace organizó un torneo promocional en Las Vegas, en el antiguo Binions, con un premio de 100.000 dólares. Se anunció como la Serie Mundial de Robots de Póquer de 2005. El torneo estaba formado únicamente por bots y no había que pagar entrada. Los desarrolladores de los bots eran informáticos de seis nacionalidades que viajaron por su cuenta. La plataforma anfitriona fue Poker Academy. El evento también incluyó un evento de demostración con Phil Laak.
En el verano de 2007, la Universidad de Alberta organizó un torneo mano a mano altamente especializado entre humanos y su robot Polaris, en la conferencia AAAI en Vancouver, BC, Canadá. La plataforma de organización fue escrita por la Universidad de Alberta . Se sorteó un premio máximo de 50.000 dólares con reglas especiales para motivar a los humanos a jugar bien. Los humanos no pagaron ninguna tarifa de inscripción. El torneo único contó con cuatro sesiones de estilo duplicado de 500 manos cada una. Los humanos ganaron por un estrecho margen.
En el verano de 2008, la Universidad de Alberta y el sitio web de entrenamiento de póquer Stoxpoker organizaron un segundo torneo durante las World Series of Poker en Las Vegas. El torneo contó con seis sesiones duplicadas de 500 manos cada una, y los jugadores humanos eran especialistas en Heads-Up Limit. Polaris ganó el torneo con 3 victorias, 2 derrotas y un empate. Los resultados del torneo, incluidos los historiales de manos de los partidos, están disponibles en el sitio web de la competición.
Entre abril y mayo de 2015, el bot de la Universidad Carnegie Mellon Sandholm, Claudico , se enfrentó a cuatro oponentes humanos en una serie de partidas de Texas Hold'em sin límite. [21] [22] Finalmente, después de jugar 80.000 manos, los humanos ganaron por un total combinado de $732.713. Pero aunque técnicamente ganaron los humanos, los científicos consideraron que la victoria fue estadísticamente insignificante (más bien, un empate estadístico) cuando se comparan esos $732.713 con el monto total de la apuesta de $170.000.000 ($170 millones). Sin embargo, algunos han determinado que esta afirmación es falsa. [23] Estadísticamente insignificante aquí significa que los programadores de Claudico no pueden decir con un 95% de confianza (un intervalo de confianza del 95%) que los humanos son mejores que el programa de computadora. Sin embargo, es una victoria estadísticamente significativa en un intervalo de confianza del 90%. Esto significa que los jugadores humanos son favoritos en una proporción entre 10 a 1 y 20 a 1. [24]
El torneo se estructuró en dos grupos de dos jugadores cada uno. En cada uno de los dos grupos, los jugadores recibieron cartas opuestas. Es decir, si la computadora tiene As9c (As de espadas y Nueve de tréboles) y el humano tiene Jh8d en una computadora, el otro de los dos jugadores del grupo tendrá As9c contra el Jh8d de la computadora. Sin embargo, incluso con los jugadores humanos ganando más que la computadora, no todos los jugadores tuvieron resultados positivos en sus enfrentamientos cara a cara.
Los totales de las ganancias de cada uno de los jugadores fueron los siguientes:
Desde 2006 hasta 2018, la Competencia Anual de Póker por Computadora organizó una serie de competencias para programas de póker. Desde 2010, se jugaron tres tipos de póker: Heads-Up Limit Texas Hold'em, Heads-Up No-Limit Texas Hold'em y 3-player Limit Texas Hold'em. Dentro de cada evento, se nombran dos ganadores: el agente que gana la mayor cantidad de partidas (Bankroll Instant Run-off) y el agente que gana la mayor cantidad de dinero (Total Bankroll). Estos ganadores a menudo no son el mismo agente, ya que Bankroll Instant Run-off recompensa a los jugadores robustos y Total Bankroll recompensa a los jugadores que son buenos en explotar los errores de los otros agentes. La competencia estuvo motivada por la investigación científica y se hizo hincapié en garantizar que todos los resultados sean estadísticamente significativos al ejecutar millones de manos de póker. La competencia de 2012 tuvo los mismos formatos con más de 70 millones de manos jugadas para eliminar el factor suerte.
Algunos investigadores desarrollaron una aplicación web en la que la gente podía jugar y evaluar la calidad de la IA. En diciembre de 2012, se podían encontrar los siguientes grupos y agentes de investigadores individuales:
La final del torneo de póquer no fue pública. Cuando el programa Pluribus (bot de póquer) venció sistemáticamente a los profesionales en el Hold'em sin límite de 6 manos, el resultado se anunció discretamente en una publicación de Facebook. [29]