ToolFormer es un método que mejora los modelos de lenguaje grandes (LLM) al permitir interacciones con herramientas externas. La integración de herramientas con modelos de lenguaje mejora el rendimiento en tareas complejas como la respuesta a preguntas y la aritmética (en las que los LLM históricamente han tenido un rendimiento deficiente [1] ) con una mínima intervención humana. También permite que los LLM respondan consultas sobre eventos fuera de los datos de entrenamiento del modelo, lo que es imposible para un LLM convencional. Desde su introducción en 2023, ToolFormer ha ganado una atención considerable por su potencial para ampliar la funcionalidad de los LLM y mejorar su adaptabilidad a tareas complejas.
El modelo toma como entrada un conjunto de datos de texto simple representado como y le agrega posibles llamadas a la API, lo que da como resultado un conjunto de datos aumentado . Esto se hace primero muestreando las posibles llamadas a la API para hasta posiciones candidatas calculando la probabilidad de que el modelo de lenguaje asigne una llamada a la API ( ) como una continuación de una secuencia dada en la posición para cada como . Solo se mantienen las primeras k posiciones con probabilidad , donde es un umbral, y para cada una de esas posiciones, se muestrean las llamadas a la API.
A continuación, se ejecutan todas las llamadas API muestreadas y se recopilan las respuestas (donde es una secuencia de texto). Después de esto, las llamadas API se filtran en función de los valores de pérdida de entropía cruzada para el modelo. La pérdida se calcula como dado que el modelo tiene el prefijo y los pesos se dan como una secuencia . La pérdida de entropía cruzada se calcula para dos casos: (i) cuando se realiza la llamada API y los resultados se utilizan en M y (ii) cuando la llamada API no se realiza en absoluto o se realiza pero no se proporciona la respuesta. Estos se calculan utilizando las siguientes fórmulas: (i) , (ii) donde es una secuencia vacía. Dadas las pérdidas, las API se filtran en función del umbral de modo que y las API resultantes se agregan a la entrada. Como resultado, se produce un conjunto de datos aumentado que se utiliza en el ajuste fino del modelo.
Para el entrenamiento y la evaluación, los autores utilizaron un subconjunto de CCNet [2] (conjunto de datos ) y GPT-J (modelo de lenguaje ).
Los autores compararon cuatro modelos en su experimento, entre ellos GPT-J sin ajustes, GPT-J ajustado en un subconjunto de CCNet sin llamadas a la API, Toolformer ajustado en el conjunto de datos aumentado con llamadas a la API y Toolformer con llamadas a la API deshabilitadas. Estos modelos, junto con modelos más grandes (OPT y GPT-3), se evaluaron en función de su rendimiento en diferentes tareas posteriores sin ejemplos en contexto introducidos en el modelo. El objetivo de esta configuración experimental es ver si el modelo puede decidir correctamente qué herramientas utilizar y cómo hacerlo sin las instrucciones de los usuarios.
Cuando se evaluó en subconjuntos del punto de referencia LAMA [3] [4] para completar una parte faltante en una declaración corta, Toolformer con llamadas API supera a todos los demás modelos enumerados anteriormente. Para tareas matemáticas evaluadas utilizando ASDiv, [5] SVAMP y MAWPS, [6] los modelos Toolformer con y sin llamadas API superan a todos los demás modelos, y Toolformer con API supera a todos los modelos de referencia. Se observaron resultados similares para conjuntos de datos temporales evaluados también en TempLama [7] y conjuntos de datos personalizados para verificar la utilidad de la API de calendario. Toolformer con API supera a todos los modelos excepto GPT-3 en tareas de respuesta a preguntas evaluadas también en los conjuntos de datos Web Questions, [8] Natural Questions, [9] y TriviaQA [10] . Sin embargo, Toolformer muestra un peor rendimiento para tareas de respuesta a preguntas multilingües evaluadas en MLQA. [11]
Si bien los LLM son excelentes para memorizar, no pueden memorizar todos los detalles del conjunto de entrenamiento y, en consecuencia, es posible que no brinden respuestas satisfactorias a preguntas especializadas. La integración de herramientas con los LLM (especialmente la generación aumentada de búsqueda/recuperación ) puede ayudarlos a responder mejor.
Los LLM suelen formarse con enormes corpus y pueden carecer de conocimientos específicos del dominio, incluso cuando están perfeccionados. Proporcionar herramientas para tareas específicas, como una calculadora, puede mejorar la experiencia.
La inteligencia artificial explicable se está volviendo muy relevante, y el seguimiento de las herramientas que utilizan los LLM puede ayudarnos a comprender su proceso de toma de decisiones al registrar cuándo y cómo se aprovechan y sus entradas y salidas.
La integración de herramientas con los LLM se puede utilizar para resolver muchos problemas complejos. En particular, los motores de búsqueda se pueden mejorar para utilizar técnicas de inteligencia artificial generativa, como perplexity.ai [12] o la nueva función de descripción general de IA de Google. [13] La mayoría de las API de LLM especifican técnicas para ayudar a sus modelos a interactuar con otras API [14] [15] [16]
Los autores del artículo en el que se introdujo el modelo Toolformer [17] son Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda y Thomas Scialom. Roberto Dessì está afiliado a la Universitat Pompeu Fabra. Todos los demás autores están afiliados a Meta AI Research.
