Federated Learning
- Introdotto da
- McMahan et al.
- Anno
- 2017
- Tipo
- Distributed privacy-preserving machine learning
- Famiglia
- Privacy-preserving analysis
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Federated Learning è un paradigma di machine learning distribuito introdotto da McMahan et al. nel 2017, in cui un modello globale viene addestrato collaborativamente su più client decentralizzati – come dispositivi mobili o sistemi ospedalieri – senza mai trasferire dati grezzi a un server centrale.
Ciascun partecipante calcola aggiornamenti del modello localmente, utilizzando i propri dati privati; solo tali aggiornamenti, non i dati sottostanti, vengono comunicati e aggregati dal server per migliorare il modello condiviso.
L’intuizione alla base del metodo
Immaginate un gruppo di ricercatori in diversi ospedali, ciascuno dei quali studia cartelle cliniche che non possono condividere a causa delle leggi sulla privacy. Invece di aggregare le cartelle in un unico database, ogni ospedale addestra una versione locale del modello sui propri pazienti, per poi inviare solo un riassunto di ciò che ha appreso – non le cartelle stesse – a un coordinatore che fonde tutti i riassunti in un unico modello migliorato. Nessun dato del paziente lascia mai la sua istituzione di origine, eppure l'intelligenza collettiva di ogni ospedale viene catturata.
Storia
Il termine e il framework sono stati introdotti da McMahan et al. in Google nel 2017, motivati dalla necessità di addestrare modelli linguistici su dispositivi mobili senza caricare testi sensibili. L'algoritmo fondazionale FedAvg ha dimostrato che la media dei pesi addestrati localmente è sia efficiente in termini di comunicazione che competitiva con l'addestramento centralizzato. Ricerche successive hanno esteso il federated learning per gestire dati non-IID, aggiungere garanzie formali di privacy differenziale, incorporare il calcolo multi-party sicuro per l'aggregazione e applicare il paradigma a contesti cross-silo come le reti ospedaliere.
Quando usarlo
Utilizzare Federated Learning quando i dati di addestramento sono distribuiti su molti client e non possono essere centralizzati a causa di normative sulla privacy, vincoli di proprietà dei dati o costi di comunicazione – ad esempio, tastiere mobili, imaging medico tra ospedali o reti di sensori IoT. Le ipotesi chiave includono dati locali sufficienti per ciascun client e un compito condiviso tra tutti i partecipanti. È meno adatto quando le distribuzioni dei dati dei client sono altamente eterogenee (non-IID), la larghezza di banda di comunicazione è gravemente limitata, o quando sono necessarie garanzie di privacy formali più forti oltre alla località dei dati (considerare la combinazione con la privacy differenziale in tal caso).
Limiti e considerazioni
- La convergenza può essere lenta e instabile quando le distribuzioni dei dati dei client sono altamente non-IID.
- L'overhead di comunicazione attraverso molti round può essere significativo su reti a bassa larghezza di banda.
- Gli aggiornamenti del modello possono ancora rivelare informazioni sui dati locali tramite attacchi di inversione del gradiente o inferenza di appartenenza.
- Client lenti e disconnessi complicano l'aggregazione sincrona e possono distorcere il modello globale.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Preserva la privacy dei dati per progettazione: i dati grezzi non lasciano mai il dispositivo o l'istituzione client.
- Scala a milioni di dispositivi edge eterogenei senza centralizzare lo storage.
- Riduce i costi di trasferimento dati poiché vengono comunicati solo gli aggiornamenti del modello, non i dataset.
- Consente l'apprendimento da domini sensibili (sanità, finanza) dove la condivisione dei dati è legalmente limitata.
Applicazioni
- Predizione della parola successiva e personalizzazione della tastiera su dispositivi mobili senza caricare testi utente.
- Addestramento di modelli di imaging medico tra ospedali che non possono condividere cartelle cliniche.
- Rilevamento frodi tra banche che condividono pattern comportamentali ma non cronologie di transazioni.
- Modelli di percezione per veicoli autonomi addestrati su una flotta senza centralizzare i log dei sensori.
- Monitoraggio della salute tramite dispositivi indossabili che apprende baseline personali mantenendo i dati biometrici sul dispositivo.
Come funziona
Come funziona
All'inizio di ogni round di comunicazione, il server seleziona un sottoinsieme casuale di client disponibili e trasmette loro i pesi del modello globale corrente. Questa trasmissione assicura che tutti i client partecipanti inizino il calcolo locale da un punto di partenza comune, consentendo un'aggregazione coerente in seguito. Selezionare solo un sottoinsieme anziché tutti i client mantiene ogni round trattabile anche quando sono registrati migliaia di dispositivi.
Formula
w_t \rightarrow \text{subset } S_t \subset \{1,\ldots,N\}Ciascun client selezionato esegue uno o più passi di stochastic gradient descent sul proprio dataset locale privato, utilizzando i pesi globali ricevuti come punto di partenza. Il client calcola il gradiente della propria funzione di perdita locale e aggiorna i pesi di conseguenza. Solo questi pesi aggiornati – non i gradienti grezzi o i dati di addestramento – vengono preparati per la trasmissione al server.
Formula
w_{t+1}^k = w_t - \eta \nabla \mathcal{L}_k(w_t)Il server raccoglie i pesi aggiornati da tutti i client partecipanti e calcola una media ponderata, in cui il contributo di ciascun client è proporzionale alla dimensione del suo dataset locale rispetto al totale dei dati tra tutti i partecipanti. Questo passo di Federated Averaging (FedAvg) produce un nuovo modello globale che incorpora informazioni dai dati privati di ciascun client senza che alcun dato grezzo lasci i dispositivi.
Formula
w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n} w_{t+1}^kIl modello globale aggregato viene valutato rispetto a un criterio di convergenza, tipicamente un limite sulla perdita attesa rispetto alla perdita ottimale. Se il criterio non è ancora soddisfatto, il server incrementa il contatore dei round e trasmette il modello globale aggiornato a un nuovo sottoinsieme di client, ripetendo il ciclo finché il modello non converge o non viene raggiunto un numero massimo di round.
Formula
\mathbb{E}[\mathcal{L}(w_T)] \leq \mathcal{L}^* + \epsilonErrori comuni
- Presupporre che l'addestramento federato da solo sia sufficiente per la privacy: senza meccanismi aggiuntivi come la privacy differenziale o l'aggregazione sicura, gli aggiornamenti del modello rimangono vulnerabili.
- Ignorare l'eterogeneità dei dati: applicare il FedAvg vanilla a dati gravemente non-IID porta spesso a un 'client drift' e a scarse prestazioni del modello globale.
- Trascurare client bizantini o malevoli: una piccola frazione di partecipanti avversari può corrompere il modello aggregato se non viene applicata un'aggregazione robusta.
- Considerare i round di comunicazione come gratuiti: il costo cumulativo di molti round su collegamenti lenti può superare il beneficio della decentralizzazione.
Domande frequenti
Federated Learning garantisce una privacy completa?
Non da solo. Sebbene i dati grezzi non lascino mai i dispositivi client, gli aggiornamenti del modello (gradienti) possono comunque rivelare informazioni tramite attacchi di inversione del gradiente o inferenza di appartenenza. La combinazione di federated learning con l'aggiunta di rumore per la privacy differenziale e protocolli di aggregazione sicura rafforza sostanzialmente le garanzie di privacy, ma ogni livello aggiunge i propri compromessi in termini di accuratezza o comunicazione.
Come gestisce Federated Learning i dati non-IID tra i client?
Il FedAvg standard può divergere quando le distribuzioni dei dati dei client differiscono nettamente tra loro – un fenomeno chiamato 'client drift'. Rimedi includono l'aumento delle dimensioni dei batch locali, la riduzione delle epoche locali, l'applicazione di varianti di personalized federated learning (come FedProx o SCAFFOLD), o l'uso di momentum lato server. La gravità dipende dal grado di eterogeneità statistica tra i client.
Quanti client e round sono tipicamente necessari per la convergenza?
McMahan et al. hanno dimostrato che anche con una piccola frazione di client campionati per round (ad esempio, 10 su 100), FedAvg converge entro decine o centinaia di round per compiti standard. In pratica, il numero dipende dalla dimensione del dataset per client, dal grado di non-IID-ness, dal learning rate e dal numero di passi di gradiente locale eseguiti prima di ogni aggregazione.
Metodi correlati
Fonti
McMahan, B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Artificial Intelligence and Statistics, 1273–1282.
Apri il riferimento della pubblicazioneCopiato.