Skip to content
Voltar aos resultados

Embeddings BERT — Representações Contextuais de Texto

Proposto por
Devlin, Chang, Lee & Toutanova (Google AI)
Ano
2019
Tipo
Contextual transformer text-representation method

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Embeddings de texto baseados em BERT, introduzidos por Devlin e colegas no Google AI em 2019, transformam texto em vetores densos sensíveis ao contexto usando um codificador Transformer bidirecional. Como o significado de uma palavra muda com seu contexto, BERT produz representações mais ricas do que métodos estáticos como Word2Vec ou modelos de tópicos como LDA.

A intuição por trás do método

Uma palavra como "banco" significa algo diferente em um rio do que em finanças, mas métodos de embedding mais antigos atribuem a ela um único vetor fixo, independentemente de onde aparece. BERT lê cada palavra em conjunto com as palavras ao seu redor, de modo que a mesma palavra recebe um vetor diferente dependendo de sua frase. Essa leitura contextual é o que permite que os embeddings capturem significados que os vetores de palavras estáticos perdem.

História

BERT foi introduzido por Devlin, Chang, Lee e Toutanova (2019), que pré-treinaram um Transformer bidirecional profundo em grandes corpora de texto e mostraram resultados fortes em muitas tarefas de compreensão de linguagem. Trabalhos posteriores de sondagem por Tenney e colegas (2019) mostraram que BERT redescobre internamente etapas do pipeline clássico de PLN, ajudando a explicar por que seus embeddings contextuais carregam informações linguísticas tão ricas.

Quando usar

Embeddings BERT são adequados quando você tem dados de texto e precisa de representações que respeitem o contexto, e quando um modelo pré-treinado corresponde à linguagem e ao domínio desse corpus. Eles servem para propósitos explicativos, de classificação e de relacionamento. Com menos de cerca de 100 documentos, o ajuste fino não é viável — prefira embeddings pré-treinados estáticos como GloVe — e se não houver dados de texto, embeddings BERT não podem ser produzidos.

Limitações e considerações

  • Um modelo adequado deve ser selecionado — multilíngue ou específico de domínio — para corresponder ao corpus.
  • Uma GPU é recomendada para grandes conjuntos de dados, pois a codificação é computacionalmente cara.
  • O ajuste fino não é viável em corpora muito pequenos (abaixo de ~100 documentos).
  • Embeddings são de alta dimensionalidade e menos interpretáveis diretamente do que características baseadas em frequência ou léxico.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Sensível ao contexto: a mesma palavra recebe vetores diferentes dependendo do texto circundante.
  • Representações mais ricas do que métodos estáticos como Word2Vec ou modelos de tópicos como LDA.
  • Codificação bidirecional lê cada token à luz do contexto completo em ambos os lados.
  • Modelos pré-treinados cobrem muitas línguas e domínios especializados, permitindo que a análise comece sem treinamento do zero.

Aplicações

  • Classificação de texto usando representações de documentos sensíveis ao contexto.
  • Medição de similaridade semântica entre documentos ou passagens.
  • Análise de relacionamento e explicativa sobre texto onde o significado da palavra depende do contexto.
  • Produção de características para modelos de PLN subsequentes em pesquisa nas áreas de saúde, ciências sociais, economia e negócios.

Como funciona

Como funciona

1

Um modelo BERT pré-treinado apropriado é escolhido para corresponder ao corpus — um modelo multilíngue para texto não inglês ou de linguagem mista, ou um modelo específico de domínio quando o texto vem de um campo especializado. A escolha de um modelo que corresponda à linguagem e ao domínio do corpus é a decisão que mais molda a qualidade do embedding.

2

Cada documento é dividido nos tokens de subpalavra que o modelo escolhido espera. A tokenização divide as palavras nas unidades nas quais o modelo foi pré-treinado, de modo que mesmo palavras desconhecidas ou compostas possam ser representadas.

3

O codificador Transformer bidirecional passa pelos tokens e produz um vetor sensível ao contexto para cada um, lendo cada token à luz do texto circundante. A mesma palavra gera vetores diferentes em contextos diferentes, o que confere riqueza à representação.

4

Os embeddings resultantes alimentam tarefas subsequentes — classificação, similaridade ou análise de relacionamento — e em corpora maiores o modelo pode ser ajustado (fine-tuned) para a tarefa. Uma GPU é recomendada para grandes conjuntos de dados, pois codificar muitos documentos é computacionalmente pesado.

Erros comuns

  • Aplicar um modelo em inglês a texto em outra língua degrada a qualidade; escolha um modelo multilíngue ou correspondente.
  • Ajustar BERT em um pequeno conjunto de dados (abaixo de ~100 documentos) não funciona — recorra a embeddings pré-treinados estáticos como GloVe.
  • Sem dados de texto, embeddings BERT não podem ser gerados — considere clustering em dados estruturados em vez disso.
  • Codificar grandes corpora sem GPU pode ser proibitivamente lento.

Perguntas frequentes

Como BERT difere de Word2Vec ou GloVe?

Word2Vec e GloVe atribuem a cada palavra um único vetor estático, independentemente do contexto. BERT é contextual: ele lê cada palavra em conjunto com seu texto circundante e produz um vetor diferente para a mesma palavra em frases diferentes, o que captura significados que embeddings estáticos perdem.

Quanto texto eu preciso?

Gerar embeddings de um modelo pré-treinado funciona mesmo em corpora pequenos (cerca de dez documentos ou mais). No entanto, ajustar o modelo à sua tarefa requer um conjunto maior — com menos de cerca de 100 documentos, prefira embeddings pré-treinados estáticos como GloVe em vez disso.

Preciso de uma GPU?

Não para conjuntos de dados pequenos, mas uma GPU é recomendada para os grandes, pois codificar muitos documentos através de um Transformer é computacionalmente pesado e pode ser muito lento em uma CPU.

BERT pode lidar com idiomas além do inglês?

Sim, desde que você selecione um modelo que corresponda — um modelo multilíngue, ou um modelo treinado para a linguagem ou domínio específico do seu corpus. Aplicar um modelo apenas em inglês a texto em outro idioma é uma causa comum de resultados ruins.

Métodos relacionados

Fontes

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.

    Abrir referência DOI
    Copiado.
  2. Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.

    Abrir referência DOI
    Copiado.