Ajuste Fino de BERT
- Proposto por
- Devlin, J. et al.
- Ano
- 2019
- Tipo
- Transfer learning (fine-tuning a pre-trained transformer)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O ajuste fino de BERT, baseado no modelo BERT introduzido por Devlin e colegas em 2019, retreina um modelo BERT pré-treinado em um pequeno conjunto de dados rotulados para uma tarefa específica, como classificação, reconhecimento de entidades nomeadas ou resposta a perguntas.
Através da aprendizagem por transferência, ele alcança alto desempenho mesmo com relativamente poucos dados específicos da tarefa.
A intuição por trás do método
Treinar um modelo de linguagem do zero exige enormes quantidades de texto e poder computacional. O BERT já aprendeu representações ricas e gerais da linguagem durante o pré-treinamento, então, em vez de começar do zero, você pega esse modelo e o ajusta suavemente à sua tarefa. Com apenas um pequeno conjunto de dados rotulados, o modelo adapta seu conhecimento existente ao seu problema, razão pela qual o ajuste fino funciona onde o treinamento de um modelo do zero falharia.
História
O BERT foi introduzido por Devlin e colegas em 2019, demonstrando que transformadores bidirecionais profundos pré-treinados em grandes corpora poderiam ser ajustados para alcançar resultados de ponta em muitas tarefas de compreensão da linguagem. Orientações práticas, como o trabalho de Sun e colegas de 2019 sobre como ajustar o BERT para classificação de texto, ajudaram a estabelecer o ajuste fino como uma receita padrão para adaptar grandes modelos de linguagem pré-treinados a tarefas específicas.
Quando usar
Use o ajuste fino de BERT para tarefas de texto — classificação, previsão ou extração de relações como NER e resposta a perguntas — em variáveis de texto, com pelo menos cerca de 50 exemplos rotulados e, idealmente, várias centenas ou mais. Ele assume que um modelo BERT pré-treinado está disponível e que você tem dados de tarefa rotulados; uma GPU é recomendada. Abaixo de cerca de 500 exemplos rotulados, o modelo tende a sobreajustar, e abaixo de cerca de 50, o ajuste fino não é viável — a aprendizagem de máquina clássica baseada em TF-IDF é a escolha mais segura nesse caso.
Limitações e considerações
- Em pequenos conjuntos de dados rotulados (abaixo de cerca de 500 exemplos), o ajuste fino sobreajusta e as saídas tornam-se não confiáveis.
- Com muito poucos dados rotulados (abaixo de cerca de 50), o ajuste fino não é viável.
- Uma GPU é recomendada, então os requisitos de computação são maiores do que para modelos de texto clássicos.
- Depende da disponibilidade de um modelo BERT pré-treinado adequado para a linguagem e o domínio.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- A aprendizagem por transferência oferece alto desempenho mesmo com relativamente poucos dados rotulados.
- Captura o contexto bidirecional, lidando com o significado da palavra que depende do texto circundante.
- Um único "backbone" pré-treinado serve a muitas tarefas: classificação, NER, resposta a perguntas.
- Evita o enorme custo de dados e computação de treinar um modelo de linguagem do zero.
Aplicações
- Classificação de texto, como análise de sentimento e rotulagem de tópicos.
- Reconhecimento de entidades nomeadas (NER) sobre texto.
- Resposta a perguntas e extração de "span".
- Adaptar um modelo de linguagem geral pré-treinado a um domínio específico com dados rotulados limitados.
Como funciona
Como funciona
Você começa com um modelo BERT pré-treinado que já aprendeu representações bidirecionais da linguagem a partir de grandes corpora de texto. Este modelo pré-treinado carrega conhecimento linguístico geral que é transferido para sua tarefa alvo, então você não aprende a estrutura da linguagem do zero.
Uma camada de saída específica da tarefa é anexada no topo do BERT para sua tarefa alvo — por exemplo, uma "cabeça" de classificação para rotulagem de sentimento, uma "cabeça" em nível de token para reconhecimento de entidades nomeadas, ou uma "cabeça" de "span" para resposta a perguntas. Essa "cabeça" transforma as representações contextuais do BERT em previsões para sua tarefa.
O modelo combinado é retreinado em seu pequeno conjunto de dados rotulados da tarefa, atualizando os pesos para que se especializem na tarefa. Tipicamente, o modelo é treinado por algumas épocas; uma GPU é recomendada porque a rede subjacente é grande. O resultado é um modelo que mapeia entradas de texto para previsões da tarefa.
Fórmula
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)Erros comuns
- Ajustar com poucos exemplos rotulados e confiar nas métricas resultantes.
- Ignorar um conjunto de avaliação "held-out", de modo que o sobreajuste em um pequeno conjunto de dados passa despercebido.
- Recorrer ao BERT quando um modelo clássico baseado em TF-IDF seria mais confiável com dados minúsculos.
- Treinar por muitas épocas em um pequeno conjunto de dados, o que amplifica o sobreajuste.
Perguntas frequentes
Quantos dados rotulados eu preciso?
O ajuste fino é viável a partir de cerca de 50 exemplos rotulados, mas o desempenho é mais confiável com várias centenas ou mais. Abaixo de cerca de 500 exemplos, o modelo tende a sobreajustar, e abaixo de cerca de 50, o ajuste fino não é viável — um modelo clássico baseado em TF-IDF é mais seguro nesse caso.
Preciso de uma GPU?
Uma GPU é recomendada porque a rede BERT é grande e o treinamento na CPU é lento. O ajuste fino tipicamente é executado por apenas algumas épocas, o que mantém a computação gerenciável em uma GPU.
Por que fazer ajuste fino em vez de treinar do zero?
O BERT já aprendeu representações de linguagem bidirecionais gerais durante o pré-treinamento. O ajuste fino reutiliza esse conhecimento através da aprendizagem por transferência, então você alcança alto desempenho com muito menos dados rotulados e computação do que treinar um modelo do zero.
Quais tarefas o ajuste fino de BERT pode lidar?
Ao anexar uma "cabeça" de saída específica da tarefa, você pode usar o mesmo "backbone" pré-treinado para classificação, reconhecimento de entidades nomeadas e resposta a perguntas, entre outras tarefas de texto.
Métodos relacionados
Fontes
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Abrir referência DOICopiado.Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.
Abrir referência DOICopiado.