Soar [1] es una arquitectura cognitiva , [2] creada originalmente por John Laird , Allen Newell y Paul Rosenbloom en la Universidad Carnegie Mellon .
El objetivo del proyecto Soar es desarrollar los bloques de construcción computacionales fijos necesarios para los agentes inteligentes generales : agentes que pueden realizar una amplia gama de tareas y codificar, usar y aprender todo tipo de conocimiento para realizar la gama completa de capacidades cognitivas que se encuentran en los humanos, como la toma de decisiones, la resolución de problemas, la planificación y la comprensión del lenguaje natural. Es a la vez una teoría de lo que es la cognición y una implementación computacional de esa teoría. Desde sus inicios en 1983 como tesis de John Laird , ha sido ampliamente utilizado por los investigadores de IA para crear agentes inteligentes y modelos cognitivos de diferentes aspectos del comportamiento humano . La descripción más actual y completa de Soar es el libro de 2012, The Soar Cognitive Architecture. [1]
Rosenbloom continuó trabajando como coinvestigador principal después de trasladarse a la Universidad de Stanford y luego al Instituto de Ciencias de la Información de la Universidad del Sur de California . Actualmente, el grupo de investigación de John Laird en la Universidad de Michigan se encarga del mantenimiento y desarrollo del proyecto .
Soar incorpora múltiples hipótesis sobre las estructuras computacionales que subyacen a la inteligencia general , muchas de las cuales son compartidas con otras arquitecturas cognitivas, incluyendo ACT-R , que fue creada por John R. Anderson , y LIDA , que fue creada por Stan Franklin . Recientemente, el énfasis en Soar ha estado en la IA general (funcionalidad y eficiencia), mientras que el énfasis en ACT-R siempre ha estado en el modelado cognitivo (modelado detallado de la cognición humana).
La teoría original de la cognición que subyace a Soar es la Hipótesis del Espacio de Problemas, que se describe en el libro de Allen Newell , Unified Theories of Cognition . [2] y se remonta a uno de los primeros sistemas de IA creados, Newell, Simon y Shaw 's Logic Theorist , presentado por primera vez en 1955. La Hipótesis del Espacio de Problemas sostiene que todo comportamiento orientado a objetivos puede plantearse como una búsqueda a través de un espacio de estados posibles (un espacio de problemas ) mientras se intenta alcanzar un objetivo. En cada paso, se selecciona un solo operador y luego se aplica al estado actual del agente, lo que puede conducir a cambios internos, como la recuperación de conocimiento de la memoria a largo plazo o modificaciones o acciones externas en el mundo. (El nombre de Soar se deriva de este ciclo básico de Estado, Operador y Resultado; sin embargo, ya no se considera un acrónimo). Inherente a la Hipótesis del Espacio de Problemas es que todo comportamiento, incluso una actividad compleja como la planificación, se puede descomponer en una secuencia de selección y aplicación de operadores primitivos, que cuando se asignan al comportamiento humano toman ~50 ms.
Una segunda hipótesis de la teoría de Soar es que, aunque sólo se puede seleccionar un único operador en cada paso, lo que fuerza un cuello de botella serial, los procesos de selección y aplicación se implementan a través de ejecuciones de reglas paralelas, que proporcionan una recuperación de conocimiento procedimental dependiente del contexto.
Una tercera hipótesis es que si el conocimiento para seleccionar o aplicar un operador es incompleto o incierto, surge un impasse y la arquitectura crea automáticamente un subestado. En el subestado, se utiliza de forma recursiva el mismo proceso de resolución de problemas, pero con el objetivo de recuperar o descubrir conocimiento para que la toma de decisiones pueda continuar. Esto puede conducir a una pila de subestados, donde surgen naturalmente los métodos tradicionales de resolución de problemas, como la planificación o la descomposición jerárquica de tareas . Cuando los resultados creados en el subestado resuelven el impasse, se eliminan el subestado y sus estructuras asociadas. El enfoque general se denomina Subgoaling universal.
Estas suposiciones conducen a una arquitectura que admite tres niveles de procesamiento. En el nivel más bajo, se encuentra el procesamiento ascendente, paralelo y automático. El siguiente nivel es el nivel deliberativo, donde el conocimiento del primer nivel se utiliza para proponer, seleccionar y aplicar una única acción. Estos dos niveles implementan un comportamiento rápido y hábil, y corresponden aproximadamente al nivel de procesamiento del Sistema 1 de Kahneman . El comportamiento más complejo surge automáticamente cuando el conocimiento es incompleto o incierto, a través de un tercer nivel de procesamiento que utiliza subestados, que corresponde aproximadamente al Sistema 2.
Una cuarta hipótesis en Soar es que la estructura subyacente es modular, pero no en términos de módulos basados en tareas o capacidades, como la planificación o el lenguaje, sino en módulos independientes de las tareas que incluyen: un módulo de toma de decisiones; módulos de memoria (memoria espacial/visual y de trabajo a corto plazo; memoria procedimental, declarativa y episódica a largo plazo); mecanismos de aprendizaje asociados con todas las memorias a largo plazo; y módulos perceptivos y motores. Hay más suposiciones sobre las propiedades específicas de estas memorias que se describen a continuación, incluyendo que todo aprendizaje es en línea e incremental.
Una quinta hipótesis es que los elementos de la memoria (excepto los de la memoria espacial/visual) se representan como estructuras simbólicas y relacionales. La hipótesis de que un sistema simbólico es necesario para la inteligencia general se conoce como la hipótesis del sistema de símbolos físicos . Una evolución importante en Soar es que todas las estructuras simbólicas tienen metadatos estadísticos asociados (como información sobre la actualidad y frecuencia de uso, o la recompensa futura esperada) que influyen en la recuperación, el mantenimiento y el aprendizaje de las estructuras simbólicas.
El ciclo de procesamiento principal de Soar surge de la interacción entre la memoria procedimental (su conocimiento sobre cómo hacer las cosas) y la memoria de trabajo (su representación de la situación actual) para respaldar la selección y aplicación de operadores. La información en la memoria de trabajo se representa como una estructura simbólica de gráfico , arraigada en un estado. El conocimiento en la memoria procedimental se representa como reglas if-then (conjuntos de condiciones y acciones), que se comparan continuamente con el contenido de la memoria de trabajo. Cuando las condiciones de una regla coinciden con las estructuras de la memoria de trabajo, se activa y realiza sus acciones. Esta combinación de reglas y memoria de trabajo también se denomina sistema de producción . A diferencia de la mayoría de los sistemas de producción, en Soar, todas las reglas que coinciden se activan en paralelo.
En lugar de que la selección de una sola regla sea el quid de la toma de decisiones, la toma de decisiones de Soar ocurre a través de la selección y aplicación de operadores , que son propuestos, evaluados y aplicados por reglas. Un operador es propuesto por reglas que prueban el estado actual y crean una representación del operador en la memoria de trabajo, así como una preferencia aceptable , que indica que el operador debe ser considerado para la selección y aplicación. Reglas adicionales coinciden con el operador propuesto y crean preferencias adicionales que lo comparan y evalúan con otros operadores propuestos. Las preferencias son analizadas por un procedimiento de decisión, que selecciona el operador preferido y lo instala como el operador actual en la memoria de trabajo. Las reglas que coinciden con el operador actual se activan para aplicarlo y realizar cambios en la memoria de trabajo. Los cambios en la memoria de trabajo pueden ser inferencias simples, consultas para la recuperación de las memorias semánticas o episódicas de largo plazo de Soar, comandos al sistema motor para realizar acciones en un entorno o interacciones con el Sistema Visual Espacial (SVS), que es la interfaz de la memoria de trabajo con la percepción. Estos cambios en la memoria de trabajo conducen a la propuesta y evaluación de nuevos operadores, seguido de la selección de uno y su aplicación.
Soar admite el aprendizaje por refuerzo , que ajusta los valores de las reglas que crean preferencias numéricas para evaluar a los operadores, en función de la recompensa. Para brindar la máxima flexibilidad, existe una estructura en la memoria de trabajo donde se crea la recompensa.
Si las preferencias de los operadores son insuficientes para especificar la selección de un solo operador, o no hay suficientes reglas para aplicar un operador, surge un impasse. En respuesta a un impasse, se crea un subestado en la memoria de trabajo, con el objetivo de resolver el impasse. A continuación, el conocimiento procedimental adicional puede proponer y seleccionar operadores en el subestado para obtener más conocimiento, y crear preferencias en el estado original o modificar ese estado para que se resuelva el impasse. Los subestados proporcionan un medio para el razonamiento complejo a demanda, incluida la descomposición jerárquica de tareas, la planificación y el acceso a las memorias declarativas a largo plazo. Una vez que se resuelve el impasse, se eliminan todas las estructuras en el subestado, excepto los resultados. El mecanismo de fragmentación de Soar compila el procesamiento en el subestado que condujo a los resultados en reglas. En el futuro, las reglas aprendidas se activan automáticamente en situaciones similares para que no surja ningún impasse, convirtiendo de forma incremental el razonamiento complejo en procesamiento automático/reactivo. Recientemente, el procedimiento general de Subobjetivos Universales se ha ampliado a través de un mecanismo de aumento de base de conocimiento automático y dirigido a objetivos que permite resolver un impasse recombinando, de forma innovadora y orientada a problemas, el conocimiento que posee un agente Soar. [3]
La entrada y salida simbólicas se producen a través de estructuras de la memoria de trabajo asociadas al estado superior, llamadas enlace de entrada y enlace de salida. Si se crean estructuras en el enlace de salida de la memoria de trabajo, estas se traducen en comandos para acciones externas (por ejemplo, control motor).
Para respaldar la interacción con los sistemas de visión y el razonamiento no simbólico, Soar cuenta con su Sistema Visual Espacial (SVS, por sus siglas en inglés). SVS representa internamente el mundo como un gráfico de escena , una colección de objetos y subobjetos componentes, cada uno con propiedades espaciales como forma, ubicación, pose, posición relativa y escala. Un agente de Soar que utilice SVS puede crear filtros para extraer automáticamente características y relaciones de su gráfico de escena, que luego se agregan a la memoria de trabajo. Además, un agente de Soar puede agregar estructuras a SVS y usarlo para imágenes mentales. Por ejemplo, un agente puede crear un objeto hipotético en SVS en una ubicación determinada y consultar para ver si colisiona con algún objeto percibido.
La memoria semántica (SMEM) en Soar está diseñada para ser una memoria a largo plazo muy grande de estructuras similares a hechos. Los datos en SMEM se representan como gráficos cíclicos dirigidos. Las estructuras se pueden almacenar o recuperar mediante reglas que crean comandos en un área reservada de la memoria de trabajo. Las estructuras recuperadas se agregan a la memoria de trabajo.
Las estructuras SMEM tienen valores de activación que representan la frecuencia o la actualidad del uso de cada memoria, implementando el esquema de activación de nivel base desarrollado originalmente para ACT-R. Durante la recuperación, se recupera la estructura en SMEM que coincide con la consulta y tiene la activación más alta. Soar también admite la activación propagada , donde la activación se propaga desde las estructuras SMEM que se han recuperado en la memoria de trabajo a otras memorias de largo plazo a las que están vinculadas. [4] Estas memorias a su vez propagan la activación a sus memorias vecinas, con cierta descomposición. La activación propagada es un mecanismo para permitir que el contexto actual influya en las recuperaciones de la memoria semántica.
La memoria episódica (EPMEM) registra automáticamente instantáneas de la memoria de trabajo en un flujo temporal. Los episodios anteriores se pueden recuperar en la memoria de trabajo mediante una consulta. Una vez que se ha recuperado un episodio, se puede recuperar el episodio siguiente (o anterior). Un agente puede emplear EPMEM para reproducir secuencialmente episodios de su pasado (lo que le permite predecir los efectos de las acciones), recuperar recuerdos específicos o consultar episodios que poseen ciertas estructuras de memoria.
Cada una de las memorias a largo plazo de Soar tiene mecanismos de aprendizaje en línea asociados que crean nuevas estructuras o modifican metadatos en función de la experiencia de un agente. Por ejemplo, Soar aprende nuevas reglas para la memoria procedimental a través de un proceso llamado fragmentación y utiliza el aprendizaje de refuerzo para ajustar las reglas involucradas en la selección de operadores.
El enfoque estándar para desarrollar un agente en Soar comienza con la escritura de reglas que se cargan en la memoria procedimental y la inicialización de la memoria semántica con el conocimiento declarativo adecuado. El proceso de desarrollo de un agente se explica en detalle en el manual oficial de Soar, así como en varios tutoriales que se ofrecen en el sitio web del grupo de investigación.
La arquitectura Soar es mantenida y ampliada por el grupo de investigación de John Laird en la Universidad de Michigan. La arquitectura actual está escrita en una combinación de C y C++, y está disponible de forma gratuita (licencia BSD) en el sitio web del grupo de investigación.
Soar puede interactuar con entornos de lenguaje externos, incluidos C++, Java, Tcl y Python, a través del lenguaje de marcado Soar (SML). SML es un mecanismo principal para crear instancias de agentes Soar e interactuar con sus enlaces de E/S.
JSoar es una implementación de Soar escrita en Java. Su mantenimiento está a cargo de SoarTech, una empresa de investigación y desarrollo de inteligencia artificial. JSoar sigue de cerca la implementación de la arquitectura de la Universidad de Michigan, aunque en general no refleja los últimos desarrollos y cambios de esa versión de C/C++. [5]
A continuación se muestra una lista histórica de las diferentes áreas de aplicación que se han implementado en Soar. Se han implementado más de cien sistemas en Soar, aunque la gran mayoría de ellos son tareas de juguete o rompecabezas.
A lo largo de su historia, Soar se ha utilizado para implementar una amplia variedad de juegos y rompecabezas de IA clásicos, como Tower of Hanoi, Water Jug, Tic Tac Toe, Eight Puzzle, Missionaries and Cannibals, y variaciones del mundo Blocks . Uno de los logros iniciales de Soar fue demostrar que muchos métodos débiles diferentes surgirían naturalmente del conocimiento de la tarea que estaba codificado en él, una propiedad llamada, el Método Débil Universal. [6]
La primera aplicación a gran escala de Soar fue R1-Soar, una reimplementación parcial realizada por Paul Rosenbloom del sistema experto R1 ( XCON ) que John McDermott desarrolló para configurar computadoras DEC. R1-Soar demostró la capacidad de Soar para escalar a problemas de tamaño moderado, utilizar la descomposición y planificación de tareas jerárquicas y convertir la planificación deliberada y la resolución de problemas en ejecución reactiva a través de la fragmentación. [7]
NL-Soar fue un sistema de comprensión del lenguaje natural desarrollado en Soar por Jill Fain Lehman, Rick Lewis, Nancy Green, Deryle Lonsdale y Greg Nelson. Incluía capacidades de comprensión, generación y diálogo del lenguaje natural, haciendo hincapié en el análisis y la generación incrementales en tiempo real. NL-Soar se utilizó en una versión experimental de TacAir-Soar y en NTD-Soar. [8]
La segunda aplicación a gran escala de Soar implicó el desarrollo de agentes para su uso en el entrenamiento en simulación distribuida a gran escala. Dos sistemas importantes para volar misiones aéreas tácticas estadounidenses fueron desarrollados conjuntamente en la Universidad de Michigan y el Instituto de Ciencias de la Información (ISI) de la Universidad del Sur de California. El sistema de Michigan se llamó TacAir-Soar y voló (en simulación) misiones tácticas militares estadounidenses de ala fija (como apoyo aéreo cercano, ataques, CAP , reabastecimiento de combustible y misiones SEAD ). El sistema ISI se llamó RWA-Soar y voló misiones de ala rotatoria (helicóptero). Algunas de las capacidades incorporadas en TacAir-Soar y RWA-Soar fueron la atención, el conocimiento de la situación y la adaptación, la planificación en tiempo real y la replanificación dinámica, y la comunicación, coordinación y cooperación complejas entre combinaciones de agentes Soar y humanos. Estos sistemas participaron en la Demostración de Tecnología de Concepto Avanzado (ACTD) del Teatro Sintético de Guerra (STOW-97) de la DARPA , que en ese momento fue el mayor despliegue de agentes sintéticos en un espacio de batalla conjunto durante un período de 48 horas, e implicó el entrenamiento de personal en servicio activo. Estos sistemas demostraron la viabilidad de utilizar agentes de IA para el entrenamiento a gran escala. [9]
Uno de los resultados importantes del proyecto RWA-Soar fue el desarrollo de STEAM por Milind Tambe , [10] un marco para el trabajo en equipo flexible en el que los agentes mantenían modelos de sus compañeros de equipo utilizando el marco de intenciones conjuntas de Cohen y Levesque . [11]
NTD-Soar fue una simulación del Director de Pruebas de la NASA (NTD), la persona responsable de coordinar la preparación del Transbordador Espacial de la NASA antes del lanzamiento. Era un modelo cognitivo integrado que incorporaba muchas capacidades cognitivas complejas diferentes, incluido el procesamiento del lenguaje natural , la atención y la búsqueda visual , y la resolución de problemas en un modelo de agente amplio. [12]
Soar se ha utilizado para simular humanos virtuales que permiten diálogos cara a cara y colaboración dentro de un mundo virtual desarrollado en el Instituto de Tecnología Creativa de la USC. Los humanos virtuales tienen capacidades integradas de percepción , comprensión del lenguaje natural , emociones , control corporal y acción, entre otras. [13]
Se han creado agentes de IA de juegos utilizando Soar para juegos como StarCraft , [14] Quake II , [15] Descent 3 , [16] Unreal Tournament , [17] y Minecraft [ cita requerida ] , que admiten capacidades como razonamiento espacial , estrategia en tiempo real y anticipación del oponente . También se han creado agentes de IA para videojuegos, incluidos Infinite Mario [18] que utilizó aprendizaje de refuerzo, y Frogger II , Space Invaders y Fast Eddie, que utilizaron tanto aprendizaje de refuerzo como imágenes mentales . [19]
Soar puede ejecutarse de forma nativa en dispositivos móviles . Se ha desarrollado una aplicación móvil para el juego Liar's Dice para iOS que ejecuta la arquitectura Soar directamente desde el teléfono como motor para las IA de los oponentes. [20]
Se han creado muchas aplicaciones robóticas diferentes utilizando Soar desde que se implementó el Robo-Soar original en 1991 para controlar un brazo robótico Puma. [21] Estas han abarcado desde el control de robots móviles hasta robots humanoides de servicio REEM , [22] mulas robóticas con tareas asignadas [23] y vehículos submarinos no tripulados . [24]
Un enfoque actual de investigación y desarrollo en la comunidad Soar es el aprendizaje interactivo de tareas (ITL), el aprendizaje automático de nuevas tareas, características del entorno, restricciones de comportamiento y otras especificaciones a través de la interacción natural con el instructor. [25] La investigación en ITL se ha aplicado a los juegos de mesa [26] y a la navegación en varias salas. [27]
En un principio, Merle-Soar demostró cómo Soar podía aprender una tarea de programación compleja siguiendo el modelo del programador humano principal en una planta de producción de parabrisas ubicada cerca de Pittsburgh. [28] Más tarde, se utilizó una versión generalizada de Merle-Soar (Dispatcher-Soar) para demostrar un enfoque simbólico de propagación de restricciones en el aprendizaje para mejorar las programaciones y definir métricas de conocimiento independientes de la tarea del aprendizaje específico de la arquitectura: eficiencia del conocimiento, utilidad del conocimiento y efectividad del conocimiento. [29]
Melody-Soar demostró cómo la arquitectura Soar podía explicar y demostrar creatividad en la generación de melodías simples utilizando jerarquías de espacios de problemas que son paralelos a la estructura jerárquica de la melodía, lo que permite generar melodías únicas a partir de las preferencias de estilos existentes (por ejemplo, Bach). [30]
{{cite journal}}: Requiere citar revista |journal=( ayuda ){{cite journal}}: Requiere citar revista |journal=( ayuda ){{cite journal}}: Requiere citar revista |journal=( ayuda ){{cite journal}}: Requiere citar revista |journal=( ayuda )