Aprendizagem Ativa com Aprendizagem Auto-supervisionada
- Proposto por
- Multiple authors (active learning + SSL integration, 2020s)
- Ano
- 2020-2022
- Tipo
- Hybrid learning paradigm
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A aprendizagem ativa combinada com a aprendizagem auto-supervisionada alavanca dados não rotulados através de pré-treinamento auto-supervisionado para construir representações ricas, e então usa uma estratégia de consulta ativa para selecionar os exemplos mais informativos para anotação humana, maximizando o desempenho do modelo sob um orçamento de rotulagem restrito.
Esta abordagem híbrida é especialmente poderosa quando dados rotulados são escassos, mas existem grandes conjuntos de dados não rotulados.
A intuição por trás do método
A aprendizagem auto-supervisionada pode extrair representações úteis de dados brutos não rotulados resolvendo tarefas pretextos como prever patches mascarados ou contrastar visões aumentadas. Uma vez que um codificador forte é pré-treinado desta forma, a aprendizagem ativa assume: em vez de rotular tudo, um oráculo é consultado apenas sobre os exemplos não rotulados mais incertos ou mais representativos. O rico espaço de incorporação do codificador torna as consultas de incerteza e diversidade muito mais precisas do que seriam de um modelo inicializado aleatoriamente, de modo que cada exemplo rotulado compra mais melhoria. O ciclo então se repete, ajustando o codificador com cada novo lote de rótulos.
História
A aprendizagem ativa tem raízes nos anos 1990 (Cohn et al., 1996) e a aprendizagem auto-supervisionada emergiu proeminentemente nos anos 2010 com métodos contrastivos. Sua integração acelerou em 2020-2022 à medida que grandes conjuntos de dados não rotulados e codificadores SSL poderosos (SimCLR, MoCo, MAE) se tornaram amplamente disponíveis. Pesquisadores descobriram que o pré-treinamento SSL melhora substancialmente a qualidade de incorporação na qual as estratégias de consulta ativa confiam, levando a uma família de frameworks combinados AL-SSL estudados em visão computacional e PNL. A combinação é agora uma fronteira de pesquisa ativa, particularmente em cenários de baixos recursos e com restrições de anotação.
Quando usar
Use esta combinação quando você tem um grande conjunto de dados não rotulado e um orçamento estrito para anotação manual, e quando as características brutas são complexas o suficiente (imagens, texto, áudio, sinais de alta dimensão) que o pré-treinamento auto-supervisionado adiciona valor representacional significativo. Ele se destaca em imagens médicas, classificação de documentos e sensoriamento remoto, onde a rotulagem por especialistas é cara. NÃO o use quando seu conjunto de dados rotulado já é grande e representativo, quando o domínio dos dados é dados tabulares simples onde o pré-treinamento SSL traz pouco benefício, ou quando o orçamento computacional é severamente restrito — o pré-treinamento SSL de codificadores grandes é computacionalmente intensivo. Evite-o também quando o conjunto não rotulado é pequeno em relação aos dados rotulados.
Limitações e considerações
- O pré-treinamento auto-supervisionado pode ser computacionalmente caro, especialmente para arquiteturas de codificadores grandes como Vision Transformers.
- A aprendizagem ativa introduz aquisição sequencial de dados, tornando o paralelismo mais difícil e estendendo o fluxo de trabalho geral de anotação.
- Se o domínio de pré-treinamento auto-supervisionado e o domínio da tarefa alvo divergirem significativamente, as representações do codificador podem ser enganosas para a seleção de consultas.
- Requer design cuidadoso: a função de aquisição deve ser compatível com a arquitetura do codificador e o espaço de incorporação.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Reduz drasticamente o número de rótulos necessários para atingir uma precisão alvo em comparação com abordagens apenas supervisionadas ou apenas de aprendizagem ativa.
- Representações auto-supervisionadas melhoram a qualidade das consultas ativas, fornecendo distâncias de incorporação significativas e estimativas de incerteza desde o início.
- Transfere bem entre domínios: um codificador auto-supervisionado pré-treinado em dados não rotulados de um domínio pode iniciar a aprendizagem ativa em um domínio alvo relacionado.
- Lida com dados não estruturados de alta dimensão (imagens, texto, áudio) onde funções de aquisição de aprendizagem ativa tradicionais têm desempenho ruim em características brutas.
- Os dois paradigmas reforçam-se mutuamente: melhores representações melhoram a seleção de consultas; melhores dados rotulados melhoram as representações.
Aplicações
- Anotação de imagens médicas onde o tempo do radiologista é escasso e existem grandes arquivos de exames não rotulados.
- Classificação de documentos e textos com corpus rotulados limitados, mas texto bruto abundante.
- Classificação de sensoriamento remoto e imagens de satélite sob restrições de orçamento de anotação.
- Detecção de defeitos industriais onde exemplos de defeitos rotulados são raros, mas imagens de produção normais são abundantes.
- Classificação de fala e áudio com grandes arquivos de áudio não rotulados e transcrição cara.
- Descoberta de drogas: seleção das estruturas moleculares mais informativas para ensaios de laboratório.
Como funciona
Como funciona
Um codificador auto-supervisionado é pré-treinado no conjunto completo não rotulado usando uma tarefa pretexto — como aprendizagem contrastiva (SimCLR, MoCo), autoencoders mascarados (MAE), ou predição de rotação. Nenhum rótulo humano é necessário nesta fase; o objetivo é um espaço de características onde exemplos semanticamente semelhantes se agrupam.
Uma função de aquisição de aprendizagem ativa — como menor confiança, amostragem de entropia, BADGE, ou seleção de core-set — avalia cada exemplo não rotulado usando as previsões ou incorporações do codificador atual. Exemplos estimados como mais informativos (incertos ou mais representativos de regiões inexploradas) são classificados e um lote do tamanho do orçamento é selecionado para anotação.
O lote selecionado é apresentado a um anotador humano (o oráculo) que fornece rótulos de verdade fundamental. Esta é a única etapa que incorre em custo de rotulagem, portanto, a qualidade da estratégia de consulta determina diretamente a eficiência da rotulagem.
O codificador é ajustado (ou uma nova cabeça de classificação é treinada) em todos os exemplos rotulados acumulados até o momento. Técnicas de regularização como avaliação linear seguida de ajuste completo ajudam a prevenir overfitting no pequeno conjunto rotulado, preservando as representações pré-treinadas.
O ciclo consulta-rotula-ajusta repete-se até que o orçamento de rotulagem seja esgotado ou a meta de desempenho seja alcançada. O codificador é opcionalmente atualizado com novos dados não rotulados entre as rodadas se o conjunto for dinâmico.
Erros comuns
- Usar uma função de aquisição genérica (por exemplo, amostragem aleatória) após o pré-treinamento SSL e chamá-la de aprendizagem ativa — a estratégia de consulta é o que fornece ganho adicional.
- Avaliar apenas o modelo final após todas as rodadas de anotação, o que oculta se as consultas iniciais foram verdadeiramente informativas.
- Ignorar o deslocamento de distribuição entre o conjunto não rotulado e o oráculo de anotação, o que pode introduzir viés de seleção.
- Esquecer de rastrear o custo de rotulagem como o principal eixo de comparação — os ganhos devem ser medidos como precisão vs. orçamento de anotação, não apenas precisão final.
- Aplicar o mesmo cronograma de taxa de aprendizagem durante o ajuste fino como durante o pré-treinamento, o que pode destruir as representações pré-treinadas.
Perguntas frequentes
Preciso reexecutar o pré-treinamento auto-supervisionado após cada rodada de aprendizagem ativa?
Não necessariamente. A prática mais comum é pré-treinar uma vez no conjunto não rotulado completo, e então ajustar o codificador incrementalmente com cada novo lote rotulado. Reexecutar o pré-treinamento SSL completo a cada rodada é computacionalmente proibitivo; alguns trabalhos usam atualizações SSL leves (por exemplo, aprendizagem contrastiva online) para adaptar representações durante o ciclo AL.
Qual função de aquisição de aprendizagem ativa funciona melhor com SSL?
Estratégias baseadas em incorporação, como seleção de core-set, BADGE (Batch Active learning by Diverse Gradient Embeddings) e amostragem de diversidade baseada em clusterização, tendem a funcionar melhor porque exploram a geometria significativa do espaço de incorporação SSL. A amostragem de entropia simples em saídas softmax também se beneficia do SSL, mas ganha menos em comparação com a amostragem aleatória.
Como isso difere da aprendizagem semi-supervisionada?
A aprendizagem semi-supervisionada usa todos os dados não rotulados passivamente durante o treinamento. A aprendizagem ativa com SSL é interativa: ela seleciona estrategicamente quais exemplos não rotulados apresentar a um oráculo para anotação, e atualiza o modelo apenas com esses rótulos escolhidos. A distinção chave é o loop de anotação sequencial e ciente do orçamento.
Dados tabulares são adequados para esta abordagem?
Geralmente não. O pré-treinamento auto-supervisionado em dados tabulares traz benefício modesto em comparação com imagens ou texto, pois não há estratégia natural de aumento ou mascaramento de patches. Para dados tabulares, a aprendizagem ativa simples com um modelo supervisionado convencional (por exemplo, regressão logística ou floresta aleatória) é tipicamente mais eficiente e interpretável.
Quais métricas devo relatar?
Relate a precisão (ou F1, AUC) como uma função do orçamento de rotulagem (número de consultas ao oráculo), não apenas a precisão final. Inclua uma linha de base de amostragem aleatória e, se possível, um limite superior totalmente supervisionado. Esta curva de eficiência de anotação é a principal contribuição de qualquer avaliação de aprendizagem ativa.
Métodos relacionados
Fontes
Bengar, J. Z., van de Weijer, J., Fuentes, L. L., & Raducanu, B. (2022). Class-Balanced Active Learning for Image Classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 3082–3091.
Abrir referência da publicaçãoCopiado.Wang, K., Zhang, D., Li, Y., Zhang, R., & Lin, L. (2016). Cost-Effective Active Learning for Deep Image Classification. IEEE Transactions on Circuits and Systems for Video Technology, 27(12), 2591–2600.
Abrir referência DOICopiado.