Skip to content
Voltar aos resultados

Classificação de Textos com Poucos Exemplos

Tipo
NLP text-classification task (low-resource)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A classificação de textos com poucos exemplos (few-shot text classification) atribui documentos a classes usando apenas um punhado de exemplos rotulados por classe.

Baseando-se nos avanços de Gao et al. (2021) e na abordagem SetFit sem prompts de Tunstall et al. (2022), ela se apoia em redes prototípicas, MAML ou no ajuste fino (fine-tuning) de um grande modelo pré-treinado para aprender com rótulos escassos.

A intuição por trás do método

A maioria dos classificadores necessita de um grande conjunto de treinamento rotulado, mas rotular textos é caro e, às vezes, existem apenas poucos exemplos por classe. A classificação de textos com poucos exemplos contorna isso começando com um modelo que já entende a linguagem — um grande modelo pré-treinado — e o direciona para suas classes com apenas alguns exemplos de cada. Em vez de aprender cada classe do zero, ele compara novos documentos com um pequeno conjunto de protótipos rotulados ou adapta levemente o modelo pré-treinado para que mesmo um exemplo por classe possa guiar a decisão.

História

A classificação de textos com poucos exemplos surgiu de pesquisas em aprendizado com poucos exemplos e meta-aprendizado adaptadas à linguagem. Gao et al. (2021) mostraram como tornar modelos de linguagem pré-treinados melhores aprendizes com poucos exemplos, e Tunstall et al. (2022) introduziram o SetFit para aprendizado eficiente com poucos exemplos sem prompts, tornando a abordagem prática com pequenos conjuntos rotulados e fortes espinhas dorsais pré-treinadas.

Quando usar

Use a classificação de textos com poucos exemplos quando você tiver textos para classificar, mas apenas alguns exemplos rotulados por classe — muito menos do que um classificador supervisionado convencional precisaria. Assume-se que existe pelo menos um exemplo para cada classe e funciona melhor quando um grande modelo pré-treinado está disponível para fornecer o conhecimento ausente. Com dados rotulados abundantes, um classificador de texto supervisionado comum é a escolha mais simples.

Limitações e considerações

  • Requer pelo menos um exemplo rotulado para cada classe; classes totalmente novas não podem ser previstas.
  • A qualidade depende fortemente da espinha dorsal pré-treinada — um modelo fraco ou inadequado limita o desempenho.
  • Com exemplos extremamente poucos, as previsões podem ser instáveis e sensíveis aos exemplos escolhidos.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aprende com muito poucos exemplos rotulados — tão pouco quanto um por classe — onde classificadores supervisionados convencionais falham.
  • Reutiliza o amplo conhecimento linguístico dentro de um grande modelo pré-treinado, de modo que poucos dados específicos da tarefa são necessários.
  • Flexível entre estratégias: redes prototípicas, MAML ou ajuste fino leve se encaixam no mesmo pipeline.

Aplicações

  • Classificar textos quando a rotulagem é custosa e apenas alguns exemplos por categoria estão disponíveis.
  • Inicializar um classificador para um novo domínio ou conjunto de rótulos antes que a rotulagem em larga escala seja feita.
  • Prototipagem rápida de categorização de texto em ambientes de pesquisa e operacionais com rótulos escassos.
  • Estender um esquema existente com novas classes esparsamente rotuladas.

Como funciona

Como funciona

1

Você monta um pequeno conjunto rotulado com pelo menos um exemplo por classe — às vezes apenas alguns por classe. Este é o conjunto de suporte do qual o método aprende; quanto menor ele for, mais o método dependerá do conhecimento já existente no modelo pré-treinado.

2

Um grande modelo pré-treinado é escolhido como espinha dorsal (backbone), pois ele já codifica um amplo conhecimento linguístico. Um modelo pré-treinado robusto é preferível — quanto mais ele souber sobre a linguagem de antemão, menos cada classe precisará ser ensinada a partir de seus poucos exemplos.

3

A espinha dorsal é direcionada para suas classes com uma das estratégias de poucos exemplos: redes prototípicas constroem um protótipo de classe a partir dos poucos exemplos e classificam por protótipo mais próximo, MAML aprende meta-parâmetros iniciais que se adaptam rapidamente, e o ajuste fino atualiza levemente o modelo pré-treinado no pequeno conjunto.

4

Cada novo documento é codificado pelo modelo adaptado e recebe um rótulo de classe — por protótipo mais próximo ou pela cabeça do classificador ajustada — resultando em um rótulo previsto por documento, apesar da escassez de dados de treinamento.

Erros comuns

  • Tratar uma classe com zero exemplos rotulados como aprendível — cada classe deve ter pelo menos um exemplo.
  • Emparelhar o método com um modelo pré-treinado pequeno ou mal ajustado, o que remove o conhecimento prévio do qual o cenário de poucos exemplos depende.
  • Superestimar a precisão a partir de um minúsculo conjunto de suporte; com tão poucos exemplos, as estimativas de avaliação são ruidosas.

Perguntas frequentes

Quantos exemplos por classe ele realmente precisa?

Pelo menos um exemplo rotulado por classe é necessário, e o método é projetado para funcionar com apenas alguns por classe. Quanto menos você fornecer, mais ele dependerá do conhecimento prévio da espinha dorsal pré-treinada.

Qual estratégia de poucos exemplos devo usar?

Redes prototípicas constroem um protótipo por classe a partir dos poucos exemplos e classificam por protótipo mais próximo; MAML aprende meta-parâmetros que se adaptam rapidamente a novas tarefas; o ajuste fino atualiza levemente um modelo pré-treinado no pequeno conjunto. Todas as três se encaixam no mesmo pipeline; o estilo SetFit de ajuste fino sem prompts é um padrão prático.

Por que o modelo pré-treinado importa tanto?

Com apenas alguns exemplos rotulados, a maior parte do conhecimento tem que vir de outro lugar. Um grande modelo pré-treinado fornece compreensão linguística ampla, de modo que uma espinha dorsal mais forte geralmente oferece melhores resultados com poucos exemplos.

Quando devo preferir um classificador supervisionado normal em vez disso?

Quando você tem dados rotulados abundantes. Métodos de poucos exemplos existem para o regime de poucos rótulos; com um grande conjunto rotulado balanceado, um classificador de texto supervisionado padrão é mais simples e geralmente mais robusto.

Métodos relacionados

Fontes

  1. Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.

    Abrir referência DOI
    Copiado.
  2. Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.

    Abrir referência DOI
    Copiado.