BERT (modelo de lenguaje)

BERT (Bidirectional Encoder Representations from Transformers) o Representación de Codificador Bidireccional de Transformadores es una técnica basada en redes neuronales para el pre-entrenamiento del procesamiento del lenguaje natural (PLN) desarrollada por Google.

[4]​ Lo que distingue a BERT es su capacidad para captar el contexto bidireccional en una oración.

Esta mejora en la comprensión contextual ha llevado a un mayor rendimiento en diversas tareas de procesamiento del lenguaje natural.

El modelo original de BERT se entrenó utilizando dos grandes conjuntos de datos en lengua inglesa: BookCorpus y Wikipedia en inglés.

Desde su introducción, BERT ha sido adoptado en todo el mundo y se ha utilizado en diversas aplicaciones, desde mejorar la calidad de las respuestas automáticas hasta potenciar la capacidad de las máquinas para entender el lenguaje en contextos complejos.