MENACE

El motor Matchbox Educable Noughts and Crosses Engine (a veces llamado Machine Educable Noughts and Crosses Engine) o MENACE era una computadora mecánica hecha de 304 cajas de fósforos diseñadas y construidas por Donald Michie en 1961.Fue diseñado para jugar a oponentes humanos en juegos de ceros y cruces devolviendo un movimiento para cualquier estado de juego dado y refinando su estrategia a través del aprendizaje por refuerzo.Michie no tenía una computadora disponible, por lo que evitó esta restricción construyéndola con cajas de cerillas.Cuando la computadora jugaba por primera vez, elegía movimientos aleatoriamente según el diseño actual.Michie celebró un torneo contra MENACE en 1961, en el que experimentó con diferentes aperturas.Después del torneo inaugural de MENACE contra Michie, se demostró que era una computadora exitosa.Michie fue honrado por su contribución a la investigación del aprendizaje automático y se le encargó dos veces que programara una simulación de MENACE en una computadora real.[1]​ Quince años después, quiso mostrar aún más su destreza matemática y computacional con una red neuronal convolucional temprana.Cada vez, eliminaría una estrategia perdedora por parte del jugador humano confiscando las cuentas que correspondían a cada movimiento.La primera etapa "Boxes" operó en cinco fases, cada una estableciendo una definición y un precedente para las reglas del algoritmo en relación con el juego.[15]​ MENACE jugó primero, como O, ya que todas las cajas de fósforos representaban permutaciones solo relevantes para el jugador "X".[17]​ Estos fueron devueltos a sus respectivas bandejas, fácilmente identificables ya que estaban ligeramente abiertos, así como tres cuentas extra del mismo color.Si el jugador humano está familiarizado con la estrategia óptima y MENACE puede aprenderla rápidamente, los juegos eventualmente terminarán en empates.[5]​ Cuando se juega contra un jugador que usa una estrategia óptima, las probabilidades de empate aumentan al 100%.Con poco más de 20 años, Michie pasó a usar constantemente la "Variante 1", el cuadrado inferior derecho.[6]​ Usar un turno aleatorio del jugador humano da como resultado una tendencia positiva casi perfecta.[6]​ La MENACE de Donald Michie demostró que una computadora puede "aprender" del fracaso y el éxito para volverse buena en una tarea.[23]​ En 1968, Donald Michie y RA Chambers crearon otro algoritmo basado en "BOXES" llamado GLEE, (Game Learning Expectimaxing Engine)[24]​ que tenía la tarea de aprender a equilibrar un poste en un carro.