Skip to content
Voltar aos resultados

Classificação Zero-Shot — Classificação de Texto Sem Dados de Treinamento

Proposto por
Yin, Hay & Roth
Ano
2019
Tipo
NLP text-classification task

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A classificação zero-shot é uma tarefa de processamento de linguagem natural que atribui texto a categorias descritas em linguagem comum, sem a necessidade de dados de treinamento rotulados.

Formalizada como um problema de "entailment" por Yin, Hay e Roth (2019), ela permite que um grande modelo de linguagem pré-treinado reconheça novas categorias dinamicamente, simplesmente nomeando-as, possibilitando uma rápida adaptação a novos conjuntos de rótulos.

A intuição por trás do método

Normalmente, um classificador precisa ver muitos exemplos rotulados de cada categoria antes de poder reconhecê-los. A classificação zero-shot ignora essa etapa: você fornece os nomes das categorias como palavras comuns — por exemplo, política, esportes, ciência — e um grande modelo de linguagem pré-treinado que já entende a linguagem avalia o quão bem cada rótulo candidato se ajusta ao texto. Como o modelo traz seu próprio vasto conhecimento da linguagem, você pode adicionar ou alterar categorias instantaneamente sem coletar e rotular novos dados de treinamento.

História

A classificação de texto zero-shot foi sistematicamente avaliada e enquadrada como um problema de "entailment" textual por Yin, Hay e Roth (2019), que mostraram que um modelo treinado em inferência de linguagem natural pode classificar texto em categorias não vistas, tratando cada rótulo como uma hipótese. A capacidade mais ampla de grandes modelos de linguagem para realizar tarefas para as quais nunca foram explicitamente treinados foi popularizada por Brown et al. (2020) no trabalho de "few-shot learning" com GPT-3.

Quando usar

A classificação zero-shot é adequada quando você tem texto para categorizar, mas não possui dados de treinamento rotulados, e quando as categorias podem mudar ou crescer ao longo do tempo. Ela requer um grande modelo de linguagem pré-treinado (como modelos de "entailment" baseados em BART ou RoBERTa) e rótulos candidatos que sejam definidos de forma clara e disjunta. É bem adequada para prototipagem rápida e para cenários onde coletar exemplos rotulados para cada classe é impraticável.

Limitações e considerações

  • Depende de um grande modelo de linguagem pré-treinado (BART, RoBERTa), o que acarreta custo computacional.
  • A precisão depende de quão clara e disjuntamente os rótulos candidatos são formulados.
  • Sem treinamento específico para a tarefa, pode ser superado por um classificador supervisionado quando há dados rotulados abundantes.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Não requer dados de treinamento rotulados — as categorias são descritas em linguagem comum.
  • Adapta-se rapidamente a novas categorias: adicionar uma classe significa apenas adicionar seu nome à lista de rótulos candidatos.
  • Aproveita o vasto conhecimento linguístico já capturado em um grande modelo pré-treinado.

Aplicações

  • Categorizar documentos em conjuntos de rótulos que mudam frequentemente sem retreinamento.
  • Prototipagem rápida de tarefas de classificação antes que quaisquer dados rotulados sejam coletados.
  • Roteamento ou marcação de texto de entrada (tópicos, intenções) usando apenas nomes de categorias.
  • Explorar categorias emergentes em corpora de texto de pesquisa e operacional.

Como funciona

Como funciona

1

Você descreve as categorias-alvo como rótulos candidatos em linguagem natural — frases curtas que o modelo pode ler diretamente. Esses rótulos devem ser claramente formulados e disjuntos, pois o modelo compara o texto com cada rótulo conforme escrito; rótulos vagos ou sobrepostos borram a decisão.

2

O texto e os rótulos candidatos são alimentados em um grande modelo de linguagem pré-treinado, como BART ou RoBERTa. Não ocorre nenhum ajuste com seus próprios dados — o modelo usa o conhecimento linguístico que adquiriu durante o pré-treinamento para representar tanto o documento quanto cada rótulo candidato.

3

O modelo pontua o quão fortemente cada rótulo candidato é suportado pelo texto, enquadrando a tarefa como inferência de linguagem natural: o texto implica a hipótese de que ele pertence a este rótulo? Cada rótulo recebe uma pontuação de compatibilidade do modelo pré-treinado.

4

O rótulo com a pontuação mais alta é atribuído ao texto (ou um conjunto ranqueado de rótulos para configurações multi-rótulo). Como a pontuação depende inteiramente do modelo pré-treinado, adicionar uma nova categoria é tão simples quanto adicionar seu nome à lista de candidatos.

Erros comuns

  • Rótulos candidatos vagos ou sobrepostos borram as decisões do modelo; defina cada rótulo claramente e mantenha-os disjuntos.
  • Esperar que a precisão zero-shot corresponda a um classificador totalmente supervisionado quando há muitos dados rotulados disponíveis — nesse caso, treine um modelo supervisionado.
  • Usar um modelo pequeno ou genérico em vez de um grande modelo capaz de "entailment" degrada os resultados.
  • Formular rótulos em um idioma que o modelo pré-treinado não lida bem diminui a confiabilidade.

Perguntas frequentes

A classificação zero-shot precisa de dados de treinamento?

Não. Essa é sua característica definidora: você descreve as categorias como rótulos candidatos em linguagem natural e um grande modelo pré-treinado avalia o ajuste, portanto, não são necessários exemplos rotulados.

Em qual modelo ela se baseia?

Ela se baseia em um grande modelo de linguagem pré-treinado, tipicamente um modelo treinado em "entailment" como BART ou RoBERTa. A qualidade do resultado depende muito do uso de um modelo pré-treinado capaz, em vez de um pequeno modelo genérico.

Como devo escrever os rótulos candidatos?

Defina-os claramente e mantenha-os disjuntos. O modelo compara o texto com cada rótulo conforme escrito, então rótulos vagos ou sobrepostos borram a decisão e diminuem a precisão.

É tão precisa quanto um classificador supervisionado?

Não necessariamente. Quando você tem dados rotulados abundantes, um classificador supervisionado treinado nesses dados pode superar o zero-shot. O zero-shot se destaca quando os dados rotulados são escassos ou o conjunto de categorias continua mudando.

Métodos relacionados

Fontes

  1. Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.

    Abrir referência DOI
    Copiado.
  2. Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.

    Abrir referência da publicação
    Copiado.