Skip to content
Voltar aos resultados

Ajuste Fino de BERT

Proposto por
Devlin, J. et al.
Ano
2019
Tipo
Transfer learning (fine-tuning a pre-trained transformer)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O ajuste fino de BERT, baseado no modelo BERT introduzido por Devlin e colegas em 2019, retreina um modelo BERT pré-treinado em um pequeno conjunto de dados rotulados para uma tarefa específica, como classificação, reconhecimento de entidades nomeadas ou resposta a perguntas.

Através da aprendizagem por transferência, ele alcança alto desempenho mesmo com relativamente poucos dados específicos da tarefa.

A intuição por trás do método

Treinar um modelo de linguagem do zero exige enormes quantidades de texto e poder computacional. O BERT já aprendeu representações ricas e gerais da linguagem durante o pré-treinamento, então, em vez de começar do zero, você pega esse modelo e o ajusta suavemente à sua tarefa. Com apenas um pequeno conjunto de dados rotulados, o modelo adapta seu conhecimento existente ao seu problema, razão pela qual o ajuste fino funciona onde o treinamento de um modelo do zero falharia.

História

O BERT foi introduzido por Devlin e colegas em 2019, demonstrando que transformadores bidirecionais profundos pré-treinados em grandes corpora poderiam ser ajustados para alcançar resultados de ponta em muitas tarefas de compreensão da linguagem. Orientações práticas, como o trabalho de Sun e colegas de 2019 sobre como ajustar o BERT para classificação de texto, ajudaram a estabelecer o ajuste fino como uma receita padrão para adaptar grandes modelos de linguagem pré-treinados a tarefas específicas.

Quando usar

Use o ajuste fino de BERT para tarefas de texto — classificação, previsão ou extração de relações como NER e resposta a perguntas — em variáveis de texto, com pelo menos cerca de 50 exemplos rotulados e, idealmente, várias centenas ou mais. Ele assume que um modelo BERT pré-treinado está disponível e que você tem dados de tarefa rotulados; uma GPU é recomendada. Abaixo de cerca de 500 exemplos rotulados, o modelo tende a sobreajustar, e abaixo de cerca de 50, o ajuste fino não é viável — a aprendizagem de máquina clássica baseada em TF-IDF é a escolha mais segura nesse caso.

Limitações e considerações

  • Em pequenos conjuntos de dados rotulados (abaixo de cerca de 500 exemplos), o ajuste fino sobreajusta e as saídas tornam-se não confiáveis.
  • Com muito poucos dados rotulados (abaixo de cerca de 50), o ajuste fino não é viável.
  • Uma GPU é recomendada, então os requisitos de computação são maiores do que para modelos de texto clássicos.
  • Depende da disponibilidade de um modelo BERT pré-treinado adequado para a linguagem e o domínio.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • A aprendizagem por transferência oferece alto desempenho mesmo com relativamente poucos dados rotulados.
  • Captura o contexto bidirecional, lidando com o significado da palavra que depende do texto circundante.
  • Um único "backbone" pré-treinado serve a muitas tarefas: classificação, NER, resposta a perguntas.
  • Evita o enorme custo de dados e computação de treinar um modelo de linguagem do zero.

Aplicações

  • Classificação de texto, como análise de sentimento e rotulagem de tópicos.
  • Reconhecimento de entidades nomeadas (NER) sobre texto.
  • Resposta a perguntas e extração de "span".
  • Adaptar um modelo de linguagem geral pré-treinado a um domínio específico com dados rotulados limitados.

Como funciona

Como funciona

1

Você começa com um modelo BERT pré-treinado que já aprendeu representações bidirecionais da linguagem a partir de grandes corpora de texto. Este modelo pré-treinado carrega conhecimento linguístico geral que é transferido para sua tarefa alvo, então você não aprende a estrutura da linguagem do zero.

2

Uma camada de saída específica da tarefa é anexada no topo do BERT para sua tarefa alvo — por exemplo, uma "cabeça" de classificação para rotulagem de sentimento, uma "cabeça" em nível de token para reconhecimento de entidades nomeadas, ou uma "cabeça" de "span" para resposta a perguntas. Essa "cabeça" transforma as representações contextuais do BERT em previsões para sua tarefa.

3

O modelo combinado é retreinado em seu pequeno conjunto de dados rotulados da tarefa, atualizando os pesos para que se especializem na tarefa. Tipicamente, o modelo é treinado por algumas épocas; uma GPU é recomendada porque a rede subjacente é grande. O resultado é um modelo que mapeia entradas de texto para previsões da tarefa.

Fórmula
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)

Erros comuns

  • Ajustar com poucos exemplos rotulados e confiar nas métricas resultantes.
  • Ignorar um conjunto de avaliação "held-out", de modo que o sobreajuste em um pequeno conjunto de dados passa despercebido.
  • Recorrer ao BERT quando um modelo clássico baseado em TF-IDF seria mais confiável com dados minúsculos.
  • Treinar por muitas épocas em um pequeno conjunto de dados, o que amplifica o sobreajuste.

Perguntas frequentes

Quantos dados rotulados eu preciso?

O ajuste fino é viável a partir de cerca de 50 exemplos rotulados, mas o desempenho é mais confiável com várias centenas ou mais. Abaixo de cerca de 500 exemplos, o modelo tende a sobreajustar, e abaixo de cerca de 50, o ajuste fino não é viável — um modelo clássico baseado em TF-IDF é mais seguro nesse caso.

Preciso de uma GPU?

Uma GPU é recomendada porque a rede BERT é grande e o treinamento na CPU é lento. O ajuste fino tipicamente é executado por apenas algumas épocas, o que mantém a computação gerenciável em uma GPU.

Por que fazer ajuste fino em vez de treinar do zero?

O BERT já aprendeu representações de linguagem bidirecionais gerais durante o pré-treinamento. O ajuste fino reutiliza esse conhecimento através da aprendizagem por transferência, então você alcança alto desempenho com muito menos dados rotulados e computação do que treinar um modelo do zero.

Quais tarefas o ajuste fino de BERT pode lidar?

Ao anexar uma "cabeça" de saída específica da tarefa, você pode usar o mesmo "backbone" pré-treinado para classificação, reconhecimento de entidades nomeadas e resposta a perguntas, entre outras tarefas de texto.

Métodos relacionados

Fontes

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    Abrir referência DOI
    Copiado.
  2. Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.

    Abrir referência DOI
    Copiado.