Aprendizado Ativo Federado
- Proposto por
- Multiple authors (federated active learning emerged ~2020)
- Ano
- 2020s
- Tipo
- Hybrid paradigm (active querying within distributed training)
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O Aprendizado Ativo Federado combina a eficiência de anotação do aprendizado ativo com a descentralização de preservação de privacidade do aprendizado federado.
Um modelo global compartilhado é treinado em clientes distribuídos, cada um dos quais classifica independentemente seus dados locais não rotulados e solicita rótulos apenas para os exemplos mais informativos, mantendo os dados brutos no dispositivo durante todo o processo.
A intuição por trás do método
No aprendizado federado padrão, cada cliente treina com quaisquer dados rotulados que já possua, enquanto no aprendizado ativo um oráculo central escolhe quais exemplos rotular em seguida. O Aprendizado Ativo Federado combina ambas as ideias: cada cliente pontua seu próprio conjunto de dados não rotulados localmente, seleciona as amostras onde o modelo está mais incerto e envia apenas essas para um rotulador. Nenhum dado bruto sai do cliente. O servidor global, então, agrega os modelos atualizados localmente, assim como no aprendizado federado padrão, de modo que o modelo global melhora com os novos rótulos mais informativos sem nunca coletar os dados subjacentes centralmente.
História
O aprendizado federado foi formalizado por McMahan et al. em 2017 com o algoritmo FedAvg, permitindo o treinamento de modelos descentralizados com preservação de privacidade. O aprendizado ativo tem raízes na literatura de consulta por comitê e amostragem de incerteza dos anos 1990. Sua combinação — Aprendizado Ativo Federado — emergiu como um tópico de pesquisa ativo no início dos anos 2020, impulsionado pela necessidade de reduzir os custos de rotulagem em aplicações de saúde, móveis e IoT onde os dados não podem ser centralizados. Múltiplos grupos propuseram independentemente frameworks combinando estimativa de incerteza local com agregação federada, e a área permanece uma fronteira de pesquisa aberta.
Quando usar
Use Aprendizado Ativo Federado quando dados rotulados forem escassos entre clientes distribuídos, a rotulagem for cara ou exigir conhecimento especializado, e os dados brutos precisarem permanecer no dispositivo por razões de privacidade, regulamentação ou largura de banda — por exemplo, registros médicos entre hospitais, dados de usuários em dispositivos móveis ou fluxos de sensores IoT. É particularmente poderoso quando as distribuições de dados dos clientes são heterogêneas (não-IID) e os orçamentos de anotação são pequenos. Não o use quando todos os dados puderem ser centralizados livremente (o aprendizado ativo simples é suficiente), quando os clientes não tiverem a capacidade computacional para pontuar seu próprio conjunto de dados, quando o ruído nos rótulos for alto (a amostragem de incerteza pode explorar rótulos ruidosos) ou quando a latência entre as rodadas de rotulagem for uma restrição limitante.
Limitações e considerações
- O overhead de comunicação por rodada é multiplicado pelo número de clientes que relatam seleções de consulta.
- Distribuições de clientes não-IID podem fazer com que a seleção de aprendizado ativo seja tendenciosa para mínimos locais da perda global.
- A sincronização de rodadas de anotação entre clientes distribuídos introduz latência e complexidade de coordenação.
- Avaliar o desempenho do modelo é mais difícil sem um conjunto de teste rotulado centralizado.
- A alocação do orçamento de anotação entre os clientes requer ajuste cuidadoso para evitar a privação de clientes pequenos ou minoritários.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Preserva a privacidade dos dados mantendo as amostras brutas no dispositivo e compartilhando apenas atualizações do modelo.
- Reduz drasticamente o custo de rotulagem consultando apenas as amostras mais informativas por rodada.
- Lida com distribuições de clientes heterogêneas que induziriam um aprendizado ativo centralizado ao erro.
- Escala horizontalmente — mais clientes geralmente melhoram a cobertura do espaço não rotulado.
- Compatível com privacidade diferencial e agregação segura para garantias de privacidade mais fortes.
Aplicações
- Anotação de imagens médicas entre hospitais onde dados de pacientes não podem ser compartilhados.
- Personalização no dispositivo para teclados móveis ou reconhecimento de fala com rotulagem mínima do usuário.
- Detecção de anomalias em IoT industrial onde os dados do sensor devem permanecer nos nós de borda.
- Monitoramento distribuído de ensaios clínicos exigindo atualizações de modelo federadas e com preservação de privacidade.
- Ajuste fino de NLP entre silos entre organizações com corpora proprietários.
- Classificação de sensoriamento remoto onde imagens de satélite são armazenadas em centros de dados geograficamente distribuídos.
Como funciona
Como funciona
Um modelo global é inicializado e transmitido para todos os clientes participantes. Este pode ser um modelo inicializado aleatoriamente ou um checkpoint pré-treinado, e ele define o ponto de partida compartilhado para a rodada.
Cada cliente aplica o modelo global atual ao seu próprio conjunto de dados não rotulados local e computa uma pontuação de informatividade para cada amostra — por exemplo, entropia de predição, amostragem de margem ou desacordo por comitê de consulta — sem transmitir os dados.
Com base nas pontuações de informatividade, cada cliente seleciona um orçamento dos exemplos não rotulados mais incertos ou mais representativos para serem anotados. A estratégia de seleção equilibra a exploração com o orçamento de anotação disponível por rodada.
Os exemplos selecionados (ou apenas seus identificadores mais recursos necessários para rotulagem) são enviados a um oráculo humano ou rotulador automatizado. Os rótulos são retornados ao cliente. Esta é a única etapa em que qualquer dado pode sair do dispositivo, e em implantações sensíveis à privacidade, apenas o oráculo os recebe.
Cada cliente ajusta o modelo global em seus exemplos recém-rotulados — e opcionalmente em seu conjunto rotulado existente — usando otimização SGD local padrão ou Adam por um número fixo de épocas locais.
Os clientes enviam suas atualizações de modelo (gradientes ou deltas de peso, não dados) para o servidor. O servidor agrega essas atualizações, tipicamente via FedAvg (média ponderada), para formar o modelo global atualizado, que é então transmitido para iniciar a próxima rodada.
Erros comuns
- Aplicar uma função de aquisição de aprendizado ativo centralizada diretamente sem levar em conta a mudança de distribuição entre os clientes — estimativas de incerteza local podem não refletir a incerteza do modelo global.
- Ignorar os custos de comunicação ao projetar o orçamento de consulta: solicitar rótulos para muitas amostras por cliente por rodada pode sobrecarregar os pipelines de anotação.
- Tratar o modelo global como convergido após poucas rodadas de federação antes de consultar, levando a pontuações de incerteza mal calibradas.
- Negligenciar os clientes lentos — clientes lentos ou intermitentemente disponíveis — que podem enviesar a agregação para as distribuições dos clientes mais rápidos.
- Assumir dados de clientes IID ao aplicar a agregação FedAvg, causando divergência quando as distribuições dos clientes são altamente heterogêneas.
Perguntas frequentes
Como o Aprendizado Ativo Federado difere do Aprendizado Federado Padrão?
O Aprendizado Federado Padrão treina apenas com os dados rotulados que os clientes já possuem. O Aprendizado Ativo Federado adiciona uma etapa de consulta ativa: cada cliente pontua seu conjunto de dados não rotulados e seleciona os exemplos mais informativos para serem anotados, permitindo que o modelo global melhore com muito menos rótulos totais.
Qual função de aquisição devo usar para pontuação local?
A amostragem de entropia (escolhendo exemplos com a maior entropia preditiva) é o ponto de partida mais comum e funciona bem quando o modelo local está razoavelmente calibrado. A amostragem de margem e BALD (Aprendizado Ativo Bayesiano por Desacordo) são boas alternativas quando a calibração da incerteza na federação é uma preocupação.
O Aprendizado Ativo Federado pode ser combinado com privacidade diferencial?
Sim. Mecanismos de privacidade diferencial como DP-SGD podem ser aplicados durante o treinamento local, e agregação segura pode ser usada no lado do servidor. O orçamento de privacidade deve levar em conta tanto as atualizações do modelo quanto quaisquer metadados sobre quais amostras foram selecionadas para consulta.
O que acontece quando os clientes têm quantidades muito diferentes de dados não rotulados?
Clientes com grandes conjuntos de dados não rotulados dominarão o orçamento de consulta se cada um receber uma cota absoluta igual. A alocação de orçamento proporcional ou adaptativa — escalando o orçamento de anotação de cada cliente pelo tamanho ou informatividade estimada de seu conjunto de dados — mitiga esse desequilíbrio.
Quantas rodadas de federação são tipicamente necessárias antes que a consulta ativa ajude?
Depende da qualidade inicial do modelo. Começar com pelo menos algumas rodadas de treinamento federado padrão com dados rotulados disponíveis melhora a calibração das estimativas de incerteza antes de ativar a consulta ativa. A consulta de inicialização a frio com um modelo inicial aleatório pode desperdiçar o orçamento de anotação em amostras não informativas.
Métodos relacionados
Fontes
Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).
Abrir referência da publicaçãoCopiado.Federated learning. Wikipedia.
Abrir referência da publicaçãoCopiado.