Generative Pre-trained Transformer 3 (Transformador generativo preentrenado) , conocida por sus siglas (GPT-3), es un modelo de lenguaje autorregresivo que emplea aprendizaje profundo para producir textos que simulan la redacción humana.
[5] Según The Economist, algoritmos mejorados, computadoras potentes y un aumento en la digitalización de datos han impulsado una revolución en el aprendizaje automático, con nuevas técnicas en la década de 2010 que resultaron en "mejoras rápidas en tareas" que incluyen la manipulación del lenguaje.
Una arquitectura utilizada en el procesamiento del lenguaje natural (NLP) es una red neural basada en un modelo de aprendizaje profundo que fue introducido por primera vez en 2017: la arquitectura de transformador.
El primer modelo GPT se conoce como "GPT-1" y fue seguido por "GPT-2" en febrero de 2019.
Algunos estudiantes podrían desarrollar un estilo de aprendizaje particular debido a experiencias específicas.
OpenAI ha implementado varias estrategias para limitar la cantidad de lenguaje tóxico generado por GPT-3.
Como resultado, GPT-3 produjo menos lenguaje tóxico en comparación con su modelo predecesor, GPT-1, aunque produjo tanto más generaciones como una toxicidad más alta de lenguaje tóxico en comparación con CTRL Wiki, un modelo de lenguaje entrenado completamente en datos de Wikipedia.
Según un usuario que tuvo acceso a un lanzamiento temprano privado del API de OpenAI GPT-3, GPT-3 era "inquietantemente bueno" al escribir un "texto asombrosamente coherente" con solo algunas indicaciones simples.
UU. que juzgaran si artículos cortos de aproximadamente 200 palabras fueron escritos por humanos o por GPT-3.
Según OpenAI, InstructGPT producía contenido que estaba mejor alineado con las intenciones del usuario, siguiendo mejor las instrucciones, generando menos hechos inventados y produciendo contenido algo menos tóxico.
Los autores llaman la atención sobre estos peligros para solicitar investigaciones sobre mitigación de riesgos.
Estos modelos fueron descritos como más capaces que las versiones anteriores y se entrenaron con datos hasta junio de 2021.
El modelo intenta proporcionar a los desarrolladores y usuarios una herramienta avanzada de procesamiento de lenguaje natural que pueda recuperar y sintetizar eficazmente información en línea.
[10] Esta función permite a los usuarios hacer preguntas o solicitar información con la expectativa de que el modelo proporcionará respuestas actualizadas, precisas y relevantes basadas en las últimas fuentes en línea disponibles para él.
Esto permitió que más personas accedieran a sus nuevas características.