Aprendizado com Poucos Exemplos
- Proposto por
- Lake, B. M.; Vinyals, O.; Finn, C. et al.
- Ano
- 2011–2017
- Tipo
- Meta-learning / low-data learning paradigm
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Aprendizado com poucos exemplos (few-shot learning) é um paradigma de aprendizado de máquina que treina modelos para reconhecer novas classes ou resolver novas tarefas a partir de apenas um punhado de exemplos rotulados — tipicamente de um a cinco — alavancando conhecimento prévio adquirido de uma distribuição de treinamento grande e relacionada.
É especialmente relevante em domínios onde a rotulagem é cara, escassa ou estruturalmente limitada.
A intuição por trás do método
Humanos podem identificar de forma confiável uma nova espécie de pássaro a partir de uma única fotografia, pois já carregam um rico conhecimento visual de anos de experiência. O aprendizado com poucos exemplos tenta replicar essa habilidade computacionalmente: um modelo é primeiro exposto a muitas tarefas diversas para que aprenda a aprender rapidamente, e então, no tempo de inferência, ele se adapta a uma tarefa totalmente nova usando apenas um minúsculo conjunto de suporte rotulado. A percepção chave é que a representação correta e a estratégia de adaptação podem substituir o grande conjunto de dados rotulados que o aprendizado supervisionado padrão exige.
História
O aprendizado com poucos exemplos ganhou atenção formal por volta de 2011, quando Lake et al. demonstraram aprendizado 'one-shot' em nível humano de caracteres manuscritos usando um modelo hierárquico de indução de programas bayesianos. O campo acelerou após 2016 com abordagens de aprendizado métrico profundo — Matching Networks de Vinyals et al. e Prototypical Networks de Snell et al. — seguidas pelo aprendizado de meta-modelos agnósticos (MAML) de Finn et al. em 2017, que unificou o paradigma sob adaptação rápida baseada em gradiente. Grandes modelos pré-treinados desde então tornaram o aprendizado com poucos exemplos uma capacidade padrão em sistemas modernos de PNL e visão.
Quando usar
Use aprendizado com poucos exemplos quando os dados rotulados para uma tarefa alvo são genuinamente escassos — menos de aproximadamente 10 a 20 exemplos por classe — mas um grande conjunto de dados relacionado está disponível para pré-treinamento ou meta-treinamento. Casos de uso típicos incluem classificação de doenças raras, reconhecimento de espécies ameaçadas, tarefas de linguagem de baixa recursos e recomendação personalizada com usuários em 'cold start'. Não o use como substituto para coletar mais dados rotulados quando a rotulagem for viável; com rótulos suficientes, aprendizado de transferência totalmente supervisionado ou 'fine-tuned' quase sempre superará os métodos de poucos exemplos. Evite-o também se a distribuição de meta-treinamento for muito diferente do domínio alvo, pois isso invalida o conhecimento prévio aprendido.
Limitações e considerações
- Requer um conjunto de meta-treinamento grande e diversificado; o desempenho degrada acentuadamente quando as distribuições de meta-treinamento e alvo divergem significativamente.
- Métodos baseados em otimização (por exemplo, MAML) são computacionalmente intensivos durante o meta-treinamento devido a gradientes de segunda ordem.
- A precisão de referência em conjuntos de dados padrão (miniImageNet, Omniglot) pode superestimar o desempenho no mundo real se o domínio de teste diferir.
- A escolha da arquitetura correta, do 'backbone' de incorporação e da estratégia de amostragem de episódios envolve decisões não triviais de hiperparâmetros.
- Com mais de cerca de 20 exemplos rotulados por classe, o aprendizado de transferência padrão ou 'fine-tuning' geralmente oferece melhor precisão com menos complexidade.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Permite aprendizado prático a partir de um a cinco exemplos rotulados por classe, reduzindo drasticamente o custo de anotação.
- O treinamento episódico prepara explicitamente o modelo para o cenário de implantação com poucos dados que ele enfrentará.
- Variantes baseadas em métricas (Prototypical Networks, Matching Networks) são computacionalmente leves na inferência — nenhum passo de gradiente é necessário.
- Amplamente aplicável em tarefas de visão, PNL, áudio e dados estruturados.
- Integra-se naturalmente com grandes modelos pré-treinados, permitindo que conhecimentos prévios poderosos sejam explorados sem 'fine-tuning' completo.
Aplicações
- Classificação de doenças raras ou anomalias em imagens médicas, onde casos anotados são inerentemente escassos.
- Tarefas de processamento de linguagem natural de baixa recursos, como detecção de intenção em novas línguas ou domínios.
- Personalização 'cold-start' em sistemas de recomendação quando um novo usuário tem pouquíssimas interações.
- Reconhecimento de espécies ameaçadas ou reconhecimento de espécies de grão fino em monitoramento de ecologia e biodiversidade.
- Detecção de defeitos industriais quando apenas um punhado de amostras defeituosas está disponível para treinamento.
- Prototipagem rápida de novas tarefas de classificação em robótica e aprendizado interativo de máquina.
Como funciona
Como funciona
O treinamento é organizado em episódios, cada um simulando um cenário de poucos exemplos. Em cada episódio, um pequeno conjunto de classes é amostrado do conjunto de treinamento, e o modelo deve aprender a distingui-las. Este treinamento episódico garante que o conhecimento prévio do modelo seja estruturado para adaptação rápida, em vez de memorização de classes específicas.
Cada episódio divide seus exemplos em um conjunto de suporte (os poucos exemplos rotulados que o modelo pode usar) e um conjunto de consulta (exemplos retidos usados para medir o quão bem o modelo generalizou). Uma tarefa k-shot, n-way fornece k exemplos rotulados para cada uma das n classes novas. Essa estrutura espelha o cenário de implantação no tempo de treinamento.
O modelo aprende uma função de incorporação — tipicamente uma rede neural profunda — que mapeia entradas para um espaço de características onde exemplos da mesma classe se agrupam e exemplos de classes diferentes são separados. A qualidade dessa representação compartilhada é o principal determinante da precisão subsequente em poucos exemplos.
No tempo de teste, o modelo calcula similaridades entre as incorporações de consulta e as incorporações de suporte (métodos baseados em métricas como Matching Networks ou Prototypical Networks) ou realiza um pequeno número de passos de gradiente para adaptar seus parâmetros ao conjunto de suporte (métodos baseados em otimização como MAML). Ambas as estratégias exploram a representação aprendida sem retreinamento do zero.
A perda no conjunto de consulta é usada para atualizar os parâmetros do meta-aprendiz ao longo dos episódios, de modo que a representação e a estratégia de adaptação melhorem globalmente. Na implantação, o modelo final se adapta a qualquer novo conjunto de suporte em segundos, fazendo previsões em exemplos de consulta não vistos sem otimização adicional.
Erros comuns
- Confundir aprendizado com poucos exemplos com aprendizado com zero exemplos: aprendizado com poucos exemplos requer pelo menos um exemplo rotulado por classe nova no tempo de teste.
- Avaliar em classes de teste vistas durante o meta-treinamento, inflando a precisão reportada.
- Ignorar a lacuna de domínio: um modelo meta-treinado em ImageNet não generalizará automaticamente para histologia médica sem adaptação de domínio.
- Usar uma perda supervisionada padrão sem treinamento episódico e esperar generalização com poucos exemplos.
- Reportar apenas precisão 'top-1' sem intervalos de confiança sobre múltiplos sorteios de episódios, o que mascara a variância nos resultados de poucos exemplos.
Perguntas frequentes
Qual é a diferença entre aprendizado com poucos exemplos e aprendizado de transferência?
O aprendizado de transferência ajusta ('fine-tunes') um modelo pré-treinado em uma nova tarefa e tipicamente se beneficia de dezenas a milhares de exemplos rotulados. O aprendizado com poucos exemplos é projetado especificamente para se adaptar com apenas um a cinco exemplos por classe, usando meta-treinamento episódico para que o modelo aprenda a generalizar rapidamente, em vez de se ajustar a um domínio específico.
O que significa k-shot n-way?
Descreve a estrutura do episódio: n-way significa que n classes novas são apresentadas simultaneamente, e k-shot significa que k exemplos rotulados são fornecidos por classe. Uma tarefa 5-way 1-shot pede ao modelo para classificar imagens de consulta em uma de cinco categorias, dada apenas um único exemplo rotulado para cada uma.
Preciso de uma GPU para executar aprendizado com poucos exemplos?
O meta-treinamento — especialmente métodos baseados em otimização como MAML — requer computação substancial e é tipicamente feito em GPUs. No entanto, a inferência baseada em métricas (comparando incorporações de consulta com protótipos de suporte) é barata e pode ser executada em CPU em produção, uma vez que o 'backbone' seja pré-treinado.
Quantas tarefas de meta-treinamento preciso?
Isso depende da diversidade, em vez da contagem absoluta. Alguns milhares de tarefas amostradas episodicamente de um conjunto de classes variado é uma linha de base comum. O que mais importa é que as classes de meta-treinamento sejam numerosas e diversas o suficiente para generalizar para classes alvo não vistas.
Aprendizado com poucos exemplos é o mesmo que aprendizado com zero exemplos?
Não. O aprendizado com zero exemplos não requer exemplos rotulados de classes novas no tempo de teste, dependendo inteiramente de descritores de classe semânticos ou atributos. O aprendizado com poucos exemplos sempre fornece pelo menos um exemplo rotulado por classe nova no conjunto de suporte.
Métodos relacionados
Fontes
Vinyals, O., Blundell, C., Lillicrap, T., Wierstra, D., & Kavukcuoglu, K. (2016). Matching Networks for One Shot Learning. Advances in Neural Information Processing Systems (NeurIPS), 29.
Abrir referência da publicaçãoCopiado.Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1126–1135.
Abrir referência da publicaçãoCopiado.