El Premio Loebner fue una competición anual de inteligencia artificial que premiaba a los programas informáticos que los jueces consideraban más parecidos a los humanos. El formato de la competición era el de un test de Turing estándar . En cada ronda, un juez humano mantenía conversaciones textuales simultáneas con un programa informático y con un ser humano a través de una computadora. En función de las respuestas, el juez intentaba determinar cuál era cuál.
El concurso fue lanzado en 1990 por Hugh Loebner en conjunto con el Centro de Estudios del Comportamiento de Cambridge , Massachusetts , Estados Unidos . A partir de 2014 [1] fue organizado por la AISB en Bletchley Park . [2] También se ha asociado con la Universidad Flinders , el Dartmouth College , el Museo de Ciencias de Londres , la Universidad de Reading y la Universidad del Ulster , Campus Magee , Derry , Ciudad de la Cultura del Reino Unido . En 2004 y 2005, se celebró en el apartamento de Loebner en la ciudad de Nueva York . Dentro del campo de la inteligencia artificial, el Premio Loebner es algo controvertido; el crítico más destacado, Marvin Minsky , lo calificó de truco publicitario que no ayuda al campo. [3]
Para la competencia final de 2019, el formato cambió. No había un panel de jueces. En cambio, los chatbots eran juzgados por el público y no había competidores humanos. [4] Se informó que el premio ya no existe a partir de 2020. [5]
En un principio, se otorgaban 2.000 dólares al programa más humano del concurso. En 2005, el premio fue de 3.000 dólares y en 2006, de 2.250 dólares. En 2008, se otorgaron 3.000 dólares.
Además, se han otorgado dos premios únicos que nunca se han concedido. Se ofrecen 25.000 dólares al primer programa que los jueces no puedan distinguir de un ser humano real y que pueda convencer a los jueces de que el ser humano es el programa informático. 100.000 dólares es el premio para el primer programa que los jueces no puedan distinguir de un ser humano real en una prueba de Turing que incluye descifrar y comprender texto, información visual y auditiva. Se planeó que la competición finalizara después de la consecución de este premio.
Las reglas variaron a lo largo de los años y las primeras competiciones incluían pruebas de Turing de conversación restringida [6], pero desde 1995 la discusión ha sido irrestricta.
En el caso de las tres propuestas presentadas en 2007, Robert Medeksza, Noah Duncan y Rollo Carpenter [7] , el patrocinador utilizó algunas "preguntas de selección" básicas para evaluar el estado de la tecnología. Entre ellas se encontraban preguntas sencillas sobre la hora, en qué ronda del concurso se encuentra, etc.; conocimientos generales ("¿Para qué sirve un martillo?"); comparaciones ("¿Qué es más rápido, un tren o un avión?"); y preguntas para demostrar la memoria de partes anteriores de la misma conversación. "Todos los sustantivos, adjetivos y verbos procederán de un diccionario adecuado para niños o adolescentes menores de 12 años". No era necesario que las propuestas respondieran "inteligentemente" a las preguntas para ser aceptadas.
Por primera vez en 2008, el patrocinador permitió la introducción de una fase preliminar al concurso, que abrió la posibilidad de participar en concursos basados en la web que antes no estaban permitidos y que fueron evaluados por una variedad de interrogadores invitados. Las reglas disponibles no indican cómo se seleccionan o instruyen a los interrogadores. Los interrogadores (que juzgan los sistemas) tienen un tiempo limitado: 5 minutos por entidad en el concurso de 2003, 20 minutos o más por par en los concursos de 2004-2007, 5 minutos para mantener conversaciones simultáneas con un humano y el programa en 2008-2009, que aumentaron a 25 minutos de conversación simultánea desde 2010.
El premio ha sido despreciado durante mucho tiempo por los expertos en el campo, [8] por una variedad de razones.
Muchos lo consideran un truco publicitario. [9] [10] Marvin Minsky ofreció con dureza un "premio" a quien pudiera detener la competición. Loebner respondió bromeando diciendo que el hecho de que Minsky ofreciera un premio para detener la competición lo convertía efectivamente en co-patrocinador. [11]
Las reglas del concurso han alentado a los jueces poco calificados a emitir juicios rápidos. Las interacciones entre jueces y competidores fueron originalmente muy breves, por ejemplo, en realidad 2,5 minutos de preguntas, lo que permitió solo unas pocas preguntas. [9] Las preguntas inicialmente se limitaron a un solo tema de elección del concursante, como "conversación caprichosa", [8] [12] un dominio adecuado para los trucos estándar de los chatbots. [13]
Los participantes del concurso no buscan la comprensión ni la inteligencia, sino que recurren a trucos básicos del estilo ELIZA , [9] [14] y los participantes exitosos encuentran que el engaño y la simulación son recompensados. [15]
En 2006, el concurso fue organizado por Tim Child (CEO de Televirtual) y Huma Shah. [7] [16] El 30 de agosto, se anunciaron los cuatro finalistas:
El concurso se celebró el 17 de septiembre en el teatro de realidad virtual del campus Torrington Place del University College de Londres . Entre los jueces estaban el profesor de cibernética de la Universidad de Reading, Kevin Warwick , el profesor de inteligencia artificial John Barnden (especialista en investigación de metáforas de la Universidad de Birmingham ), la abogada Victoria Butler-Cole y el periodista Graham Duncan-Rowe. La experiencia de este último en el evento se puede encontrar en un artículo de Technology Review . [17] [18] El ganador fue 'Joan', basado en Jabberwacky , ambos creados por Rollo Carpenter.
La competición de 2007 se celebró el 21 de octubre en la ciudad de Nueva York. Los jueces fueron: el profesor de informática Russ Abbott, el profesor de filosofía Hartry Field , el profesor adjunto de psicología Clayton Curtis y el profesor de inglés Scott Hutchins . [19]
Ningún bot pasó la prueba de Turing, pero los jueces clasificaron a los tres concursantes de la siguiente manera:
El ganador recibió 2.250 dólares y la medalla anual. Los finalistas recibieron 250 dólares cada uno.
El concurso de 2008 fue organizado por el profesor Kevin Warwick, coordinado por Huma Shah y celebrado el 12 de octubre en la Universidad de Reading, Reino Unido . [20] Después de que más de cien jueces lo sometieran a pruebas durante la fase preliminar, en junio y julio de 2008, se seleccionaron seis finalistas de entre trece entidades conversacionales artificiales (ACE) participantes originales. Cinco de los invitados compitieron en la final:
En la final, cada uno de los jueces tuvo cinco minutos para mantener conversaciones simultáneas en pantalla dividida con dos entidades ocultas. Elbot [21] de Artificial Solutions [22] ganó el premio de bronce del Premio Loebner 2008, a la entidad conversacional artificial más parecida a un humano , al engañar a tres de los doce jueces que lo interrogaron (en las comparaciones entre humanos y entidades paralelas) para que creyeran que era un humano. Esto se acerca mucho al 30% que tradicionalmente se requiere para considerar que un programa realmente ha pasado la prueba de Turing. Eugene Goostman [23] y Ultra Hal [24] engañaron a un juez cada uno para que creyera que era un humano.
Will Pavia, periodista de The Times , ha escrito sobre su experiencia: fue juez de las finales de Loebner y fue engañado por Elbot y Eugene. [25] Kevin Warwick y Huma Shah han informado sobre las pruebas de Turing en pares paralelos. [26]
El concurso del Premio Loebner 2009 se celebró el 6 de septiembre de 2009 en el Brighton Centre , Brighton, Reino Unido, en conjunción con la conferencia Interspeech 2009. El importe del premio para 2009 fue de 3.000 dólares.
Los participantes fueron David Levy , Rollo Carpenter y Mohan Embar, quienes terminaron en ese orden.
El escritor Brian Christian participó en el concurso del Premio Loebner de 2009 como cómplice humano y describió sus experiencias en la competición en su libro The Most Human Human .
El concurso del premio Loebner 2010 se celebró el 23 de octubre en la Universidad Estatal de California en Los Ángeles. La edición de 2010 fue la vigésima edición del concurso. El ganador fue Bruce Wilcox con Suzette.
El concurso del Premio Loebner 2011 se celebró el 19 de octubre en la Universidad de Exeter , Devon , Reino Unido. El importe del premio de 2011 fue de 4.000 dólares.
Los cuatro finalistas y sus chatterbots fueron Bruce Wilcox (Rosette), Adeena Mignogna (Zoe), Mohan Embar (Chip Vivant) y Ron Lee (Tutor), quienes terminaron en ese orden.
Ese año se incorporó un panel de jueces junior, a saber, Georgia-Mae Lindfield, William Dunne, Sam Keat y Kirill Jerdev. Los resultados del concurso junior fueron marcadamente diferentes de los del concurso principal, con los chatbots Tutor y Zoe empatados en el primer puesto y Chip Vivant y Rosette en tercer y cuarto lugar, respectivamente.
El concurso del Premio Loebner 2012 se celebró el 15 de mayo en Bletchley Park, en Bletchley , Buckinghamshire , Inglaterra, en honor a las celebraciones del centenario de Alan Turing . El importe del premio para 2012 fue de 5.000 dólares. El organizador local de los preparativos fue David Levy, que ganó el Premio Loebner en 1997 y 2009.
Los cuatro finalistas y sus chatterbots fueron Mohan Embar (Chip Vivant), Bruce Wilcox (Angela), Daniel Burke (Adam) y M. Allan (Linguo), quienes terminaron en ese orden.
Ese año, un equipo del departamento de informática de la Universidad de Exeter (Ed Keedwell, Max Dupenois y Kent McClymont) realizó la primera transmisión web en vivo de las conversaciones. [27]
El Concurso del Premio Loebner 2013 se celebró, por única vez en la Isla de Irlanda , el 14 de septiembre en la Universidad del Ulster , Magee College , Derry , Irlanda del Norte , Reino Unido.
Los cuatro finalistas y sus chatbots fueron Steve Worswick (Mitsuku), Dr. Ron C. Lee (Tutor), Bruce Wilcox (Rose) y Brian Rigsby (Izar), quienes terminaron en ese orden.
Los jueces fueron el profesor Roger Schank (Artes Socráticas), el profesor Noel Sharkey ( Universidad de Sheffield ), la profesora Minhua (Eunice) Ma ( Universidad de Huddersfield , entonces Universidad de Glasgow ) y el profesor Mike McTear ( Universidad del Ulster ).
En el concurso Junior Loebner Prize de 2013, los chatbots Mitsuku y Tutor empataron en el primer lugar con Rose e Izar en el tercer y cuarto lugar respectivamente.
El concurso del Premio Loebner 2014 se celebró en Bletchley Park, Inglaterra, el sábado 15 de noviembre de 2014. El evento fue filmado en vivo por Sky News. El juez invitado fue el presentador de televisión y locutor James May.
Después de dos horas de evaluación, "Rose" de Bruce Wilcox fue declarado ganador. Bruce recibirá un cheque por $4000 y una medalla de bronce. Los puestos fueron los siguientes:
Rose – Rango 1 ($4000 y medalla de bronce); Izar – Rango 2.25 ($1500); Uberbot – Rango 3.25 ($1000); y Mitsuku – Rango 3.5 ($500).
Los jueces fueron el Dr. Ian Hocking, escritor y profesor titular de Psicología, Christ Church College, Canterbury; la Dra. Ghita Kouadri-Mostefaoui, profesora de Informática y Tecnología, Universidad de Bedfordshire; el Sr. James May, presentador y locutor de televisión; y el Dr. Paul Sant, Decano de UCMK, Universidad de Bedfordshire.
El concurso del premio Loebner de 2015 lo ganó nuevamente 'Rose' de Bruce Wilcox. [28]
Los jueces fueron Jacob Aaron, reportero de ciencias físicas de New Scientist; Rory Cellan-Jones, corresponsal de tecnología de la BBC; Brett Marty, director de cine y fotógrafo; Ariadne Tampion, escritora.
El Premio Loebner 2016 se celebró en Bletchley Park el 17 de septiembre de 2016. Después de dos horas de evaluación, se anunciaron los resultados finales. Las clasificaciones fueron las siguientes:
El Premio Loebner 2017 se celebró en Bletchley Park el 16 de septiembre de 2017. Este fue el primer concurso en el que se utilizó un nuevo protocolo de mensaje por mensaje, en lugar del tradicional de un carácter a la vez. Los puestos fueron los siguientes y fueron anunciados por un Nao_(robot) :
El Premio Loebner 2018 se celebró en Bletchley Park el 8 de septiembre de 2018. Esta fue la última vez que se celebró en su formato tradicional de Test de Turing y la última vez que se celebró en Bletchley Park. Las clasificaciones fueron las siguientes:
El Premio Loebner 2019 se celebró en la Universidad de Swansea del 12 al 15 de septiembre, como parte de una exposición más amplia que se centró en la creatividad en las computadoras. El formato del concurso cambió de ser una prueba de Turing tradicional, con jueces seleccionados y humanos, a una sesión de prueba de 4 días donde los miembros del público en general, incluidos los escolares, podían interactuar con los robots, sabiendo de antemano que los robots no eran humanos. Participaron diecisiete robots en lugar de los 4 finalistas habituales. Steve Worswick ganó por quinta vez con Mitsuku, lo que le permitió ser incluido en el Libro Guinness de los récords. [30]
Un jurado seleccionado de jueces también examinó y votó por los que más les gustaron. Los rankings fueron los siguientes:
El chatbot más parecido a un humano:
El mejor chatbot en general
Lista oficial de ganadores. [31]
Conversación con el ganador de 1992; tema: hombres y mujeres