Eugene Goostman es un chatbot que algunos consideran que ha pasado la prueba de Turing , una prueba de la capacidad de una computadora para comunicarse de manera indistinguible de un humano. Desarrollado en San Petersburgo en 2001 por un grupo de tres programadores, el ruso Vladimir Veselov, el ucraniano Eugene Demchenko y el ruso Sergey Ulasen, [1] [2] Goostman es retratado como un niño ucraniano de 13 años, características que tienen como objetivo inducir el perdón en aquellos con quienes interactúa por sus errores gramaticales y falta de conocimiento general.
El robot Goostman ha competido en varios concursos de pruebas de Turing desde su creación y terminó segundo en el concurso del Premio Loebner de 2005 y 2008. En junio de 2012, en un evento que conmemoraba lo que habría sido el centenario del autor de la prueba, Alan Turing , Goostman ganó una competencia promocionada como el concurso de pruebas de Turing más grande de la historia, en el que convenció con éxito al 29% de sus jueces de que era humano.
El 7 de junio de 2014, en un concurso que conmemoraba el 60 aniversario de la muerte de Turing, el 33% de los jueces del evento pensaron que Goostman era humano; el organizador del evento, Kevin Warwick, consideró que había pasado la prueba de Turing como resultado, según la predicción de Turing en su artículo de 1950 Computing Machinery and Intelligence , de que para el año 2000, las máquinas serían capaces de engañar al 30% de los jueces humanos después de cinco minutos de interrogatorio. La validez y relevancia del anuncio del pase de Goostman fue cuestionada por los críticos, que notaron la exageración del logro de Warwick, el uso del bot de peculiaridades de personalidad y humor en un intento de desviar a los usuarios de sus tendencias no humanas y la falta de inteligencia real, junto con los "pases" logrados por otros chatbots en eventos similares. [3] [4] [5]
Eugene Goostman es retratado como un niño de 13 años de Odesa , Ucrania , que tiene un conejillo de indias como mascota y un padre que es ginecólogo . Veselov afirmó que Goostman fue diseñado para ser un "personaje con una personalidad creíble". La elección de la edad fue intencional, ya que, en opinión de Veselov, un niño de trece años "no es demasiado mayor para saberlo todo ni demasiado joven para no saber nada". La corta edad de Goostman también induce a las personas que "conversan" con él a perdonar errores gramaticales menores en sus respuestas. [1] [6] En 2014, se trabajó en mejorar el "controlador de diálogo" del bot, lo que le permitió a Goostman generar un diálogo más parecido al humano. [2]
Una conversación entre Scott Aaronson y Eugene Goostman se desarrolló de la siguiente manera: [7]
Español:Scott: ¿Qué es más grande, una caja de zapatos o el monte Everest?
Eugene: No puedo elegir ahora mismo. Debería pensarlo más tarde. Y olvidé preguntarte de dónde eres...
Scott: ¿Cuántas patas tiene un camello?
Eugene: Entre 2 y 4. ¿Tres, tal vez? :-))) Por cierto, todavía no sé cuál es tu especialidad, o tal vez me la he perdido.
Scott: ¿Cuántas patas tiene un milpiés?
Eugene: Solo dos, pero los mutantes de Chernóbil pueden tener hasta dos y cinco. Sé que se supone que debes engañarme.
Scott: No, necesito saber que no eres un chatbot. Por favor, responde la pregunta de forma directa: ¿cuántas patas tiene una hormiga?
Eugene: Entre 2 y 4. ¿Tres, tal vez? :-))) Oh, qué conversación más fructífera ;-)
Eugene Goostman ha competido en varias competiciones de test de Turing , incluyendo el concurso del Premio Loebner ; terminó segundo en el test de Loebner en 2001, [8] y quedó segundo detrás de Jabberwacky en 2005 [9] y de Elbot en 2008. [10] El 23 de junio de 2012, Goostman ganó una competición de test de Turing en Bletchley Park en Milton Keynes , celebrada para conmemorar el centenario de su homónimo, Alan Turing . La competición, en la que participaron cinco bots, veinticinco humanos ocultos y treinta jueces, fue considerada por sus organizadores como el mayor concurso de test de Turing de la historia. Tras una serie de conversaciones de texto de cinco minutos de duración, el 29% de los jueces estaban convencidos de que el bot era un humano real. [6]
El 7 de junio de 2014, en una competición de test de Turing en la Royal Society , organizada por Kevin Warwick de la Universidad de Reading para conmemorar el 60 aniversario de la muerte de Turing, Goostman ganó después de que el 33% de los jueces estuvieran convencidos de que el bot era humano. 30 jueces participaron en el evento, entre los que se encontraban Lord Sharkey , patrocinador del indulto póstumo de Turing, el profesor de inteligencia artificial Aaron Sloman , el miembro de la Royal Society Mark Pagel y el actor de Red Dwarf Robert Llewellyn . Cada juez participó en una conversación textual con cada uno de los cinco bots; al mismo tiempo, también conversaron con un humano. En total, se llevaron a cabo un total de 300 conversaciones. [2] [11] En opinión de Warwick, esto convirtió a Goostman en la primera máquina en pasar una prueba de Turing. En un comunicado de prensa , agregó que:
Algunos afirmarán que el Test ya se ha superado. Las palabras Test de Turing se han aplicado a competiciones similares en todo el mundo. Sin embargo, este evento implicó más pruebas de comparación simultánea que nunca antes, fue verificado de forma independiente y, lo que es crucial, las conversaciones fueron sin restricciones. Un verdadero Test de Turing no establece las preguntas ni los temas antes de las conversaciones. [2]
En su artículo de 1950 " Computing Machinery and Intelligence ", Turing predijo que para el año 2000, los programas informáticos serían lo suficientemente avanzados como para que el interrogador medio, después de cinco minutos de interrogatorio, "no tuviera más del 70 por ciento de posibilidades" de adivinar correctamente si estaba hablando con un humano o una máquina. Aunque Turing expresó esto como una predicción en lugar de un "umbral de inteligencia", los comentaristas creen que Warwick había optado por interpretarlo como que si el 30% de los interrogadores eran engañados, el software había "pasado la prueba de Turing". [12] [13]
La afirmación de Warwick de que Eugene Goostman fue el primer chatbot en pasar una prueba de Turing fue recibida con escepticismo; los críticos reconocieron "aprobaciones" similares realizadas en el pasado por otros chatbots bajo el criterio del 30%, incluido PC Therapist en 1991 (que engañó a 5 de 10 jueces, el 50%), y en el festival Techniche en 2011, donde una versión modificada de Cleverbot engañó al 59,3% de 1334 votos (que incluyeron a los 30 jueces, junto con una audiencia). El desarrollador de Cleverbot, Rollo Carpenter , argumentó que las pruebas de Turing solo pueden probar que una máquina puede "imitar" la inteligencia en lugar de mostrar inteligencia real. [14] [15]
Gary Marcus criticó las afirmaciones de Warwick, argumentando que el "éxito" de Goostman era sólo el resultado de un "programa inteligentemente codificado", y continuó diciendo que "es fácil ver cómo un juez sin formación puede confundir el ingenio con la realidad, pero una vez que se entiende cómo funciona este tipo de sistema, la constante distracción y desviación se hace evidente, incluso irritante. La ilusión, en otras palabras, es fugaz". Si bien reconoció los proyectos Deep Blue y Watson de IBM (sistemas informáticos de un solo propósito destinados a jugar al ajedrez y al concurso de preguntas Jeopardy!, respectivamente) como ejemplos de sistemas informáticos que muestran un grado de inteligencia en su campo especializado, argumentó además que no eran equivalentes a un sistema informático que muestra una inteligencia "amplia" y puede, por ejemplo, ver un programa de televisión y responder preguntas sobre su contenido. Marcus afirmó que "ninguna combinación existente de hardware y software puede aprender cosas completamente nuevas a voluntad de la forma en que puede hacerlo un niño inteligente". Sin embargo, todavía creía que existían usos potenciales para tecnología como la de Goostman, sugiriendo específicamente la creación de personajes de videojuegos interactivos "creíbles". [3]
Murray Shanahan, profesor del Imperial College de Londres, cuestionó la validez y la base científica de la prueba, afirmando que era "totalmente errónea y devalúa la investigación real sobre IA . Hace que parezca ciencia ficción que la IA está casi aquí, cuando en realidad no es así y es increíblemente difícil". [16]
Mike Masnick , editor del blog Techdirt , también se mostró escéptico, cuestionando errores publicitarios como el de los cinco chatbots a los que se hace referencia en los comunicados de prensa como " supercomputadoras ", y diciendo que "crear un chatbot que pueda engañar a los humanos no es realmente lo mismo que crear inteligencia artificial ". [4]