Classificação Zero-Shot — Classificação de Texto Sem Dados de Treinamento
- Proposto por
- Yin, Hay & Roth
- Ano
- 2019
- Tipo
- NLP text-classification task
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A classificação zero-shot é uma tarefa de processamento de linguagem natural que atribui texto a categorias descritas em linguagem comum, sem a necessidade de dados de treinamento rotulados.
Formalizada como um problema de "entailment" por Yin, Hay e Roth (2019), ela permite que um grande modelo de linguagem pré-treinado reconheça novas categorias dinamicamente, simplesmente nomeando-as, possibilitando uma rápida adaptação a novos conjuntos de rótulos.
A intuição por trás do método
Normalmente, um classificador precisa ver muitos exemplos rotulados de cada categoria antes de poder reconhecê-los. A classificação zero-shot ignora essa etapa: você fornece os nomes das categorias como palavras comuns — por exemplo, política, esportes, ciência — e um grande modelo de linguagem pré-treinado que já entende a linguagem avalia o quão bem cada rótulo candidato se ajusta ao texto. Como o modelo traz seu próprio vasto conhecimento da linguagem, você pode adicionar ou alterar categorias instantaneamente sem coletar e rotular novos dados de treinamento.
História
A classificação de texto zero-shot foi sistematicamente avaliada e enquadrada como um problema de "entailment" textual por Yin, Hay e Roth (2019), que mostraram que um modelo treinado em inferência de linguagem natural pode classificar texto em categorias não vistas, tratando cada rótulo como uma hipótese. A capacidade mais ampla de grandes modelos de linguagem para realizar tarefas para as quais nunca foram explicitamente treinados foi popularizada por Brown et al. (2020) no trabalho de "few-shot learning" com GPT-3.
Quando usar
A classificação zero-shot é adequada quando você tem texto para categorizar, mas não possui dados de treinamento rotulados, e quando as categorias podem mudar ou crescer ao longo do tempo. Ela requer um grande modelo de linguagem pré-treinado (como modelos de "entailment" baseados em BART ou RoBERTa) e rótulos candidatos que sejam definidos de forma clara e disjunta. É bem adequada para prototipagem rápida e para cenários onde coletar exemplos rotulados para cada classe é impraticável.
Limitações e considerações
- Depende de um grande modelo de linguagem pré-treinado (BART, RoBERTa), o que acarreta custo computacional.
- A precisão depende de quão clara e disjuntamente os rótulos candidatos são formulados.
- Sem treinamento específico para a tarefa, pode ser superado por um classificador supervisionado quando há dados rotulados abundantes.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Não requer dados de treinamento rotulados — as categorias são descritas em linguagem comum.
- Adapta-se rapidamente a novas categorias: adicionar uma classe significa apenas adicionar seu nome à lista de rótulos candidatos.
- Aproveita o vasto conhecimento linguístico já capturado em um grande modelo pré-treinado.
Aplicações
- Categorizar documentos em conjuntos de rótulos que mudam frequentemente sem retreinamento.
- Prototipagem rápida de tarefas de classificação antes que quaisquer dados rotulados sejam coletados.
- Roteamento ou marcação de texto de entrada (tópicos, intenções) usando apenas nomes de categorias.
- Explorar categorias emergentes em corpora de texto de pesquisa e operacional.
Como funciona
Como funciona
Você descreve as categorias-alvo como rótulos candidatos em linguagem natural — frases curtas que o modelo pode ler diretamente. Esses rótulos devem ser claramente formulados e disjuntos, pois o modelo compara o texto com cada rótulo conforme escrito; rótulos vagos ou sobrepostos borram a decisão.
O texto e os rótulos candidatos são alimentados em um grande modelo de linguagem pré-treinado, como BART ou RoBERTa. Não ocorre nenhum ajuste com seus próprios dados — o modelo usa o conhecimento linguístico que adquiriu durante o pré-treinamento para representar tanto o documento quanto cada rótulo candidato.
O modelo pontua o quão fortemente cada rótulo candidato é suportado pelo texto, enquadrando a tarefa como inferência de linguagem natural: o texto implica a hipótese de que ele pertence a este rótulo? Cada rótulo recebe uma pontuação de compatibilidade do modelo pré-treinado.
O rótulo com a pontuação mais alta é atribuído ao texto (ou um conjunto ranqueado de rótulos para configurações multi-rótulo). Como a pontuação depende inteiramente do modelo pré-treinado, adicionar uma nova categoria é tão simples quanto adicionar seu nome à lista de candidatos.
Erros comuns
- Rótulos candidatos vagos ou sobrepostos borram as decisões do modelo; defina cada rótulo claramente e mantenha-os disjuntos.
- Esperar que a precisão zero-shot corresponda a um classificador totalmente supervisionado quando há muitos dados rotulados disponíveis — nesse caso, treine um modelo supervisionado.
- Usar um modelo pequeno ou genérico em vez de um grande modelo capaz de "entailment" degrada os resultados.
- Formular rótulos em um idioma que o modelo pré-treinado não lida bem diminui a confiabilidade.
Perguntas frequentes
A classificação zero-shot precisa de dados de treinamento?
Não. Essa é sua característica definidora: você descreve as categorias como rótulos candidatos em linguagem natural e um grande modelo pré-treinado avalia o ajuste, portanto, não são necessários exemplos rotulados.
Em qual modelo ela se baseia?
Ela se baseia em um grande modelo de linguagem pré-treinado, tipicamente um modelo treinado em "entailment" como BART ou RoBERTa. A qualidade do resultado depende muito do uso de um modelo pré-treinado capaz, em vez de um pequeno modelo genérico.
Como devo escrever os rótulos candidatos?
Defina-os claramente e mantenha-os disjuntos. O modelo compara o texto com cada rótulo conforme escrito, então rótulos vagos ou sobrepostos borram a decisão e diminuem a precisão.
É tão precisa quanto um classificador supervisionado?
Não necessariamente. Quando você tem dados rotulados abundantes, um classificador supervisionado treinado nesses dados pode superar o zero-shot. O zero-shot se destaca quando os dados rotulados são escassos ou o conjunto de categorias continua mudando.
Métodos relacionados
Fontes
Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.
Abrir referência DOICopiado.Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
Abrir referência da publicaçãoCopiado.