Embeddings BERT — Representações Contextuais de Texto
- Proposto por
- Devlin, Chang, Lee & Toutanova (Google AI)
- Ano
- 2019
- Tipo
- Contextual transformer text-representation method
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Embeddings de texto baseados em BERT, introduzidos por Devlin e colegas no Google AI em 2019, transformam texto em vetores densos sensíveis ao contexto usando um codificador Transformer bidirecional. Como o significado de uma palavra muda com seu contexto, BERT produz representações mais ricas do que métodos estáticos como Word2Vec ou modelos de tópicos como LDA.
A intuição por trás do método
Uma palavra como "banco" significa algo diferente em um rio do que em finanças, mas métodos de embedding mais antigos atribuem a ela um único vetor fixo, independentemente de onde aparece. BERT lê cada palavra em conjunto com as palavras ao seu redor, de modo que a mesma palavra recebe um vetor diferente dependendo de sua frase. Essa leitura contextual é o que permite que os embeddings capturem significados que os vetores de palavras estáticos perdem.
História
BERT foi introduzido por Devlin, Chang, Lee e Toutanova (2019), que pré-treinaram um Transformer bidirecional profundo em grandes corpora de texto e mostraram resultados fortes em muitas tarefas de compreensão de linguagem. Trabalhos posteriores de sondagem por Tenney e colegas (2019) mostraram que BERT redescobre internamente etapas do pipeline clássico de PLN, ajudando a explicar por que seus embeddings contextuais carregam informações linguísticas tão ricas.
Quando usar
Embeddings BERT são adequados quando você tem dados de texto e precisa de representações que respeitem o contexto, e quando um modelo pré-treinado corresponde à linguagem e ao domínio desse corpus. Eles servem para propósitos explicativos, de classificação e de relacionamento. Com menos de cerca de 100 documentos, o ajuste fino não é viável — prefira embeddings pré-treinados estáticos como GloVe — e se não houver dados de texto, embeddings BERT não podem ser produzidos.
Limitações e considerações
- Um modelo adequado deve ser selecionado — multilíngue ou específico de domínio — para corresponder ao corpus.
- Uma GPU é recomendada para grandes conjuntos de dados, pois a codificação é computacionalmente cara.
- O ajuste fino não é viável em corpora muito pequenos (abaixo de ~100 documentos).
- Embeddings são de alta dimensionalidade e menos interpretáveis diretamente do que características baseadas em frequência ou léxico.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Sensível ao contexto: a mesma palavra recebe vetores diferentes dependendo do texto circundante.
- Representações mais ricas do que métodos estáticos como Word2Vec ou modelos de tópicos como LDA.
- Codificação bidirecional lê cada token à luz do contexto completo em ambos os lados.
- Modelos pré-treinados cobrem muitas línguas e domínios especializados, permitindo que a análise comece sem treinamento do zero.
Aplicações
- Classificação de texto usando representações de documentos sensíveis ao contexto.
- Medição de similaridade semântica entre documentos ou passagens.
- Análise de relacionamento e explicativa sobre texto onde o significado da palavra depende do contexto.
- Produção de características para modelos de PLN subsequentes em pesquisa nas áreas de saúde, ciências sociais, economia e negócios.
Como funciona
Como funciona
Um modelo BERT pré-treinado apropriado é escolhido para corresponder ao corpus — um modelo multilíngue para texto não inglês ou de linguagem mista, ou um modelo específico de domínio quando o texto vem de um campo especializado. A escolha de um modelo que corresponda à linguagem e ao domínio do corpus é a decisão que mais molda a qualidade do embedding.
Cada documento é dividido nos tokens de subpalavra que o modelo escolhido espera. A tokenização divide as palavras nas unidades nas quais o modelo foi pré-treinado, de modo que mesmo palavras desconhecidas ou compostas possam ser representadas.
O codificador Transformer bidirecional passa pelos tokens e produz um vetor sensível ao contexto para cada um, lendo cada token à luz do texto circundante. A mesma palavra gera vetores diferentes em contextos diferentes, o que confere riqueza à representação.
Os embeddings resultantes alimentam tarefas subsequentes — classificação, similaridade ou análise de relacionamento — e em corpora maiores o modelo pode ser ajustado (fine-tuned) para a tarefa. Uma GPU é recomendada para grandes conjuntos de dados, pois codificar muitos documentos é computacionalmente pesado.
Erros comuns
- Aplicar um modelo em inglês a texto em outra língua degrada a qualidade; escolha um modelo multilíngue ou correspondente.
- Ajustar BERT em um pequeno conjunto de dados (abaixo de ~100 documentos) não funciona — recorra a embeddings pré-treinados estáticos como GloVe.
- Sem dados de texto, embeddings BERT não podem ser gerados — considere clustering em dados estruturados em vez disso.
- Codificar grandes corpora sem GPU pode ser proibitivamente lento.
Perguntas frequentes
Como BERT difere de Word2Vec ou GloVe?
Word2Vec e GloVe atribuem a cada palavra um único vetor estático, independentemente do contexto. BERT é contextual: ele lê cada palavra em conjunto com seu texto circundante e produz um vetor diferente para a mesma palavra em frases diferentes, o que captura significados que embeddings estáticos perdem.
Quanto texto eu preciso?
Gerar embeddings de um modelo pré-treinado funciona mesmo em corpora pequenos (cerca de dez documentos ou mais). No entanto, ajustar o modelo à sua tarefa requer um conjunto maior — com menos de cerca de 100 documentos, prefira embeddings pré-treinados estáticos como GloVe em vez disso.
Preciso de uma GPU?
Não para conjuntos de dados pequenos, mas uma GPU é recomendada para os grandes, pois codificar muitos documentos através de um Transformer é computacionalmente pesado e pode ser muito lento em uma CPU.
BERT pode lidar com idiomas além do inglês?
Sim, desde que você selecione um modelo que corresponda — um modelo multilíngue, ou um modelo treinado para a linguagem ou domínio específico do seu corpus. Aplicar um modelo apenas em inglês a texto em outro idioma é uma causa comum de resultados ruins.
Métodos relacionados
Fontes
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.
Abrir referência DOICopiado.Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.
Abrir referência DOICopiado.