BERT Embeddings — Representaciones Contextuales de Texto
- Propuesto por
- Devlin, Chang, Lee & Toutanova (Google AI)
- Año
- 2019
- Tipo
- Contextual transformer text-representation method
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Las incrustaciones de texto basadas en BERT, introducidas por Devlin y colegas en Google AI en 2019, convierten el texto en vectores densos sensibles al contexto utilizando un codificador Transformer bidireccional. Dado que el significado de una palabra cambia con su contexto, BERT produce representaciones más ricas que métodos estáticos como Word2Vec o modelos de temas como LDA.
La intuición detrás del método
Una palabra como "banco" significa algo diferente en un río que en finanzas, sin embargo, los métodos de incrustación más antiguos le dan un único vector fijo independientemente de dónde aparezca. BERT lee cada palabra junto con las palabras que la rodean, por lo que la misma palabra recibe un vector diferente según la oración. Esta lectura contextual es lo que permite que las incrustaciones capturen un significado que los vectores de palabras estáticos no logran.
Historia
BERT fue introducido por Devlin, Chang, Lee y Toutanova (2019), quienes preentrenaron un Transformer bidireccional profundo en grandes corpus de texto y mostraron fuertes resultados en muchas tareas de comprensión del lenguaje. Trabajos posteriores de sondeo de Tenney y colegas (2019) mostraron que BERT redescubre internamente pasos del pipeline clásico de PLN, ayudando a explicar por qué sus incrustaciones contextuales portan información lingüística tan rica.
Cuándo usarlo
Las incrustaciones BERT son adecuadas cuando se tienen datos de texto y se necesitan representaciones que respeten el contexto, y cuando un modelo preentrenado coincide con el idioma y el dominio de ese corpus. Se adaptan a propósitos explicativos, de clasificación y de relaciones. Con menos de unos 100 documentos, el ajuste fino no es factible — preferir incrustaciones preentrenadas estáticas como GloVe — y si no hay datos de texto en absoluto, las incrustaciones BERT no se pueden producir.
Limitaciones y consideraciones
- Se debe seleccionar un modelo adecuado — multilingüe o específico del dominio — para que coincida con el corpus.
- Se recomienda una GPU para conjuntos de datos grandes porque la codificación es computacionalmente costosa.
- El ajuste fino no es factible en corpus muy pequeños (menos de ~100 documentos).
- Las incrustaciones son de alta dimensionalidad y menos interpretables directamente que las características basadas en frecuencia o léxico.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Sensible al contexto: la misma palabra obtiene vectores diferentes dependiendo de su texto circundante.
- Representaciones más ricas que métodos estáticos como Word2Vec o modelos de temas como LDA.
- La codificación bidireccional lee cada token a la luz del contexto completo en ambos lados.
- Los modelos preentrenados cubren muchos idiomas y dominios especializados, por lo que el análisis puede comenzar sin entrenar desde cero.
Aplicaciones
- Clasificación de texto utilizando representaciones de documentos conscientes del contexto.
- Medición de la similitud semántica entre documentos o pasajes.
- Análisis de relaciones y explicativo sobre texto donde el significado de las palabras depende del contexto.
- Producción de características para modelos de PLN posteriores en investigación de salud, ciencias sociales, economía y negocios.
Cómo funciona
Cómo funciona
Se elige un modelo BERT preentrenado apropiado para que coincida con el corpus: un modelo multilingüe para texto no inglés o de lenguaje mixto, o un modelo específico del dominio cuando el texto proviene de un campo especializado. Elegir un modelo que coincida con el idioma y el dominio del corpus es la decisión que más moldea la calidad de la incrustación.
Cada documento se divide en los tokens de subpalabras que espera el modelo elegido. La tokenización divide las palabras en las unidades en las que el modelo fue preentrenado, de modo que incluso las palabras desconocidas o compuestas puedan ser representadas.
El codificador Transformer bidireccional recorre los tokens y produce un vector sensible al contexto para cada uno, leyendo cada token a la luz del texto circundante. La misma palabra produce vectores diferentes en contextos diferentes, que es lo que da a la representación su riqueza.
Las incrustaciones resultantes alimentan tareas posteriores — clasificación, análisis de similitud o de relaciones — y en corpus más grandes el modelo puede ser ajustado (fine-tuned) a la tarea. Se recomienda una GPU para conjuntos de datos grandes porque codificar muchos documentos es computacionalmente pesado.
Errores comunes
- Aplicar un modelo inglés a texto en otro idioma degrada la calidad; elija un modelo multilingüe o coincidente.
- El ajuste fino de BERT en un conjunto de datos pequeño (menos de ~100 documentos) no funciona — recurra a incrustaciones preentrenadas estáticas como GloVe.
- Sin datos de texto en absoluto, las incrustaciones BERT no se pueden generar — considere la agrupación en clústeres sobre datos estructurados en su lugar.
- Codificar corpus grandes sin una GPU puede ser prohibitivamente lento.
Preguntas frecuentes
¿Cómo se diferencia BERT de Word2Vec o GloVe?
Word2Vec y GloVe asignan a cada palabra un único vector estático independientemente del contexto. BERT es contextual: lee cada palabra junto con su texto circundante y produce un vector diferente para la misma palabra en diferentes oraciones, lo que captura un significado que las incrustaciones estáticas no logran.
¿Cuánto texto necesito?
La generación de incrustaciones a partir de un modelo preentrenado funciona incluso en corpus pequeños (alrededor de diez documentos en adelante). Sin embargo, el ajuste fino del modelo a su tarea requiere un conjunto más grande — con menos de unos 100 documentos, prefiera incrustaciones preentrenadas estáticas como GloVe en su lugar.
¿Necesito una GPU?
No para conjuntos de datos pequeños, pero se recomienda una GPU para los grandes porque codificar muchos documentos a través de un Transformer es computacionalmente pesado y puede ser muy lento en una CPU.
¿Puede BERT manejar idiomas distintos del inglés?
Sí, siempre que elija un modelo que coincida — un modelo multilingüe, o un modelo entrenado para el idioma o dominio específico de su corpus. Aplicar un modelo solo en inglés a texto de otro idioma es una causa común de malos resultados.
Métodos relacionados
Fuentes
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.
Abrir referencia DOICopiado.Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.
Abrir referencia DOICopiado.