Skip to content
Voltar aos resultados

Aprendizagem Federada

Proposto por
McMahan et al.
Ano
2017
Tipo
Distributed privacy-preserving machine learning
Família
Privacy-preserving analysis

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Aprendizagem Federada é um paradigma de aprendizado de máquina distribuído introduzido por McMahan et al. em 2017, no qual um modelo global é treinado colaborativamente em múltiplos clientes descentralizados — como dispositivos móveis ou sistemas hospitalares — sem nunca transferir dados brutos para um servidor central. Cada participante calcula as atualizações do modelo localmente usando seus dados privados; apenas essas atualizações, e não os dados subjacentes, são comunicadas e agregadas pelo servidor para melhorar o modelo compartilhado.

A intuição por trás do método

Imagine um grupo de pesquisadores em diferentes hospitais, cada um estudando registros de pacientes que não podem compartilhar devido a leis de privacidade. Em vez de reunir os registros em um único banco de dados, cada hospital treina uma versão local do modelo em seus próprios pacientes, e então envia apenas um resumo do que aprendeu — não os próprios registros — para um coordenador que combina todos os resumos em um modelo aprimorado. Nenhum dado de paciente sai de sua instituição de origem, mas a inteligência coletiva de cada hospital é capturada.

História

O termo e a estrutura foram introduzidos por McMahan et al. no Google em 2017, motivados pela necessidade de treinar modelos de linguagem em dispositivos móveis sem fazer upload de texto sensível. O algoritmo fundamental FedAvg demonstrou que a média de pesos treinados localmente é eficiente em termos de comunicação e competitiva com o treinamento centralizado. Pesquisas subsequentes expandiram a aprendizagem federada para lidar com dados não-IID, adicionar garantias formais de privacidade diferencial, incorporar computação multipartidária segura para agregação e aplicar o paradigma a configurações entre silos, como redes hospitalares.

Quando usar

Use Aprendizagem Federada quando os dados de treinamento estão distribuídos por muitos clientes e não podem ser centralizados devido a regulamentações de privacidade, restrições de propriedade de dados ou custos de comunicação — por exemplo, teclados móveis, imagens médicas em hospitais ou redes de sensores de IoT. As principais premissas incluem dados locais suficientes por cliente e uma tarefa compartilhada entre todos os participantes. É menos adequado quando as distribuições de dados dos clientes são altamente heterogêneas (não-IID), a largura de banda de comunicação é severamente limitada, ou quando são necessárias fortes garantias formais de privacidade além da localidade dos dados (considere combinar com privacidade diferencial nesse caso).

Limitações e considerações

  • A convergência pode ser lenta e instável quando as distribuições de dados dos clientes são altamente não-IID.
  • A sobrecarga de comunicação em muitas rodadas pode ser significativa em redes de baixa largura de banda.
  • As atualizações do modelo ainda podem vazar informações sobre os dados locais por meio de inversão de gradiente ou ataques de inferência de associação.
  • Clientes lentos (stragglers) e clientes desconectados complicam a agregação síncrona e podem enviesar o modelo global.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Preserva a privacidade dos dados por design: dados brutos nunca saem do dispositivo ou instituição do cliente.
  • Escala para milhões de dispositivos de borda heterogêneos sem centralizar o armazenamento.
  • Reduz os custos de transferência de dados porque apenas as atualizações do modelo, e não os conjuntos de dados, são comunicadas.
  • Permite o aprendizado em domínios sensíveis (saúde, finanças) onde o compartilhamento de dados é legalmente restrito.

Aplicações

  • Previsão de próxima palavra e personalização de teclado em dispositivos móveis sem fazer upload de texto do usuário.
  • Treinamento de modelo de imagem médica em hospitais que não podem compartilhar registros de pacientes.
  • Detecção de fraude em bancos que compartilham padrões de comportamento, mas não históricos de transações.
  • Modelos de percepção de veículos autônomos treinados em uma frota sem centralizar os logs dos sensores.
  • Monitoramento de saúde vestível que aprende linhas de base pessoais enquanto mantém os dados biométricos no dispositivo.

Como funciona

Como funciona

1

No início de cada rodada de comunicação, o servidor seleciona um subconjunto aleatório de clientes disponíveis e transmite os pesos atuais do modelo global para eles. Essa transmissão garante que todos os clientes participantes iniciem o cálculo local a partir de um ponto de partida comum, permitindo uma agregação coerente posteriormente. Selecionar apenas um subconjunto, em vez de todos os clientes, mantém cada rodada gerenciável, mesmo quando milhares de dispositivos estão registrados.

Fórmula
w_t \rightarrow \text{subset } S_t \subset \{1,\ldots,N\}
2

Cada cliente selecionado executa uma ou mais etapas de gradiente descendente estocástico em seu conjunto de dados local privado, usando os pesos globais recebidos como ponto de partida. O cliente calcula o gradiente de sua função de perda local e atualiza os pesos de acordo. Apenas esses pesos atualizados — e não os gradientes brutos ou os dados de treinamento — são preparados para transmissão de volta ao servidor.

Fórmula
w_{t+1}^k = w_t - \eta \nabla \mathcal{L}_k(w_t)
3

O servidor coleta os pesos atualizados de todos os clientes participantes e calcula uma média ponderada, onde a contribuição de cada cliente é proporcional ao tamanho de seu conjunto de dados local em relação ao total de dados de todos os participantes. Esta etapa de Média Federada (FedAvg) produz um novo modelo global que incorpora informações dos dados privados de cada cliente sem que nenhum dado bruto saia dos dispositivos.

Fórmula
w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n} w_{t+1}^k
4

O modelo global agregado é avaliado em relação a um critério de convergência, tipicamente um limite para a perda esperada em relação à perda ótima. Se o critério ainda não for satisfeito, o servidor incrementa o contador de rodadas e transmite o modelo global atualizado para um novo subconjunto de clientes, repetindo o ciclo até que o modelo convirja ou um número máximo de rodadas seja atingido.

Fórmula
\mathbb{E}[\mathcal{L}(w_T)] \leq \mathcal{L}^* + \epsilon

Erros comuns

  • Assumir que o treinamento federado sozinho é suficiente para a privacidade: sem mecanismos adicionais, como privacidade diferencial ou agregação segura, as atualizações do modelo permanecem vulneráveis.
  • Ignorar a heterogeneidade dos dados: aplicar o FedAvg "padrão" a dados severamente não-IID geralmente leva a desvio do cliente (client drift) e baixo desempenho do modelo global.
  • Ignorar clientes bizantinos ou maliciosos: uma pequena fração de participantes adversários pode corromper o modelo agregado se a agregação robusta não for aplicada.
  • Tratar as rodadas de comunicação como gratuitas: o custo cumulativo de muitas rodadas em links lentos pode superar o benefício da descentralização.

Perguntas frequentes

A Aprendizagem Federada garante privacidade completa?

Não por si só. Embora os dados brutos nunca saiam dos dispositivos clientes, as atualizações do modelo (gradientes) ainda podem vazar informações por meio de inversão de gradiente ou ataques de inferência de associação. A combinação da aprendizagem federada com a adição de ruído de privacidade diferencial e protocolos de agregação segura fortalece substancialmente as garantias de privacidade, mas cada camada adiciona suas próprias compensações de precisão ou comunicação.

Como a Aprendizagem Federada lida com dados não-IID entre clientes?

O FedAvg padrão pode divergir quando as distribuições de dados dos clientes diferem acentuadamente umas das outras — um fenômeno chamado desvio do cliente (client drift). Os remédios incluem aumentar os tamanhos de lote locais, reduzir as épocas locais, aplicar variantes personalizadas de aprendizagem federada (como FedProx ou SCAFFOLD) ou usar momentum no lado do servidor. A gravidade depende do grau de heterogeneidade estatística entre os clientes.

Quantos clientes e rodadas são tipicamente necessários para a convergência?

McMahan et al. mostraram que mesmo com uma pequena fração de clientes amostrados por rodada (por exemplo, 10 de 100), o FedAvg converge em dezenas a centenas de rodadas para tarefas padrão. Na prática, o número depende do tamanho do conjunto de dados por cliente, do grau de não-IID, da taxa de aprendizado e do número de etapas de gradiente locais realizadas antes de cada agregação.

Métodos relacionados

Fontes

  1. McMahan, B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Artificial Intelligence and Statistics, 1273–1282.

    Abrir referência da publicação
    Copiado.