Skip to content
Torna ai risultati

Active Learning Federato

Introdotto da
Multiple authors (federated active learning emerged ~2020)
Anno
2020s
Tipo
Hybrid paradigm (active querying within distributed training)
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'Active Learning Federato combina l'efficienza annotativa dell'active learning con la decentralizzazione che preserva la privacy del federated learning.

Un modello globale condiviso viene addestrato su client distribuiti, ognuno dei quali classifica in modo indipendente i propri dati locali non etichettati e richiede etichette solo per gli esempi più informativi, mantenendo i dati grezzi sul dispositivo per tutto il tempo.

L’intuizione alla base del metodo

Nel federated learning standard, ogni client addestra sui dati etichettati che già possiede, mentre nell'active learning un oracolo centrale sceglie quali esempi etichettare successivamente. L'Active Learning Federato unisce entrambe le idee: ogni client valuta il proprio pool non etichettato localmente, seleziona i campioni per i quali il modello è più incerto e invia solo questi a un etichettatore. Nessun dato grezzo lascia il client. Il server globale aggrega quindi i modelli aggiornati localmente, proprio come nel federated learning standard, in modo che il modello globale migliori grazie alle nuove etichette più informative senza mai raccogliere centralmente i dati sottostanti.

Storia

Il federated learning è stato formalizzato da McMahan et al. nel 2017 con l'algoritmo FedAvg, abilitando l'addestramento di modelli decentralizzato che preserva la privacy. L'active learning ha radici nella letteratura degli anni '90 sul query-by-committee e sull'incertezza campionaria. La loro combinazione — l'Active Learning Federato — è emersa come un argomento di ricerca attivo all'inizio degli anni 2020, guidata dalla necessità di ridurre i costi di etichettatura in applicazioni sanitarie, mobili e IoT dove i dati non possono essere centralizzati. Molti gruppi hanno proposto indipendentemente framework che combinano la stima dell'incertezza locale con l'aggregazione federata, e l'area rimane una frontiera di ricerca aperta.

Quando usarlo

Utilizzare l'Active Learning Federato quando i dati etichettati sono scarsi tra i client distribuiti, l'etichettatura è costosa o richiede competenze specifiche del dominio, e i dati grezzi devono rimanere sul dispositivo per motivi di privacy, normativi o di larghezza di banda — ad esempio, cartelle cliniche tra ospedali, dati utente su dispositivi mobili, o flussi di sensori IoT. È particolarmente potente quando le distribuzioni dei dati dei client sono eterogenee (non-IID) e i budget di annotazione sono piccoli. Non usarlo quando tutti i dati possono essere centralizzati liberamente (l'active learning standard è sufficiente), quando i client non dispongono della capacità di calcolo per valutare il proprio pool, quando il rumore delle etichette è elevato (il campionamento dell'incertezza può sfruttare etichette rumorose), o quando la latenza tra i round di etichettatura è un vincolo stringente.

Limiti e considerazioni

  • Il sovraccarico di comunicazione per round è moltiplicato per il numero di client che segnalano le selezioni delle query.
  • Le distribuzioni non-IID dei client possono causare un bias nella selezione dell'active learning verso minimi locali della loss globale.
  • La sincronizzazione dei round di annotazione tra client distribuiti introduce latenza e complessità di coordinamento.
  • Valutare le prestazioni del modello è più difficile senza un set di test etichettato centralizzato.
  • L'allocazione del budget di annotazione tra i client richiede un'attenta messa a punto per evitare di trascurare client piccoli o minoritari.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Preserva la privacy dei dati mantenendo i campioni grezzi sul dispositivo e condividendo solo gli aggiornamenti del modello.
  • Riduce drasticamente il costo di etichettatura interrogando solo i campioni più informativi per round.
  • Gestisce distribuzioni eterogenee dei client che potrebbero fuorviare un active learner centralizzato.
  • Scala orizzontalmente — più client tipicamente migliorano la copertura dello spazio non etichettato.
  • Compatibile con la privacy differenziale e l'aggregazione sicura per garanzie di privacy più forti.

Applicazioni

  • Annotazione di immagini mediche tra ospedali dove i dati dei pazienti non possono essere condivisi.
  • Personalizzazione sul dispositivo per tastiere mobili o riconoscimento vocale con etichettatura utente minima.
  • Rilevamento di anomalie IoT industriale dove i dati dei sensori devono rimanere sui nodi edge.
  • Monitoraggio distribuito di studi clinici che richiede aggiornamenti del modello federati e che preservano la privacy.
  • Fine-tuning NLP cross-silo tra organizzazioni con corpora proprietari.
  • Classificazione di telerilevamento dove le immagini satellitari sono archiviate in data center geograficamente distribuiti.

Come funziona

Come funziona

1

Viene inizializzato un modello globale e trasmesso a tutti i client partecipanti. Questo può essere un modello inizializzato casualmente o un checkpoint pre-addestrato, e definisce il punto di partenza condiviso per il round.

2

Ogni client applica il modello globale corrente al proprio pool locale non etichettato e calcola un punteggio di informatività per ogni campione — ad esempio, entropia di predizione, margin sampling, o disaccordo query-by-committee — senza trasmettere i dati.

3

In base ai punteggi di informatività, ogni client seleziona un budget degli esempi non etichettati più incerti o più rappresentativi da etichettare. La strategia di selezione bilancia l'esplorazione con il budget di annotazione disponibile per round.

4

Gli esempi selezionati (o solo i loro identificatori più le caratteristiche necessarie per l'etichettatura) vengono inviati a un oracolo umano o a un etichettatore automatico. Le etichette vengono restituite al client. Questo è l'unico passaggio in cui i dati possono lasciare il dispositivo, e nelle distribuzioni sensibili alla privacy solo l'oracolo li riceve.

5

Ogni client affina il modello globale sui suoi nuovi esempi etichettati — e opzionalmente sul suo set di dati etichettati esistente — utilizzando l'ottimizzazione locale standard SGD o Adam per un numero fisso di epoche locali.

6

I client caricano i loro aggiornamenti del modello (gradienti o differenze di peso, non dati) al server. Il server aggrega questi aggiornamenti, tipicamente tramite FedAvg (media pesata), per formare il modello globale aggiornato, che viene quindi trasmesso per iniziare il round successivo.

Errori comuni

  • Applicare una funzione di acquisizione dell'active learning centralizzata direttamente senza tenere conto dello spostamento della distribuzione tra i client — le stime di incertezza locali potrebbero non riflettere l'incertezza del modello globale.
  • Ignorare i costi di comunicazione nella progettazione del budget di query: richiedere etichette per troppi campioni per client per round può sovraccaricare le pipeline di annotazione.
  • Considerare il modello globale come convergente dopo troppi pochi round di federazione prima di interrogare, portando a stime di incertezza mal calibrate.
  • Trascurare gli stragglers — client lenti o intermittenti — che possono introdurre un bias nell'aggregazione verso le distribuzioni dei client più veloci.
  • Assumere dati IID dei client quando si applica l'aggregazione FedAvg, causando divergenza quando le distribuzioni dei client sono altamente eterogenee.

Domande frequenti

In che modo l'Active Learning Federato differisce dal Federated Learning standard?

Il Federated Learning standard addestra solo sui dati etichettati che i client già possiedono. L'Active Learning Federato aggiunge un passaggio di query attiva: ogni client valuta il proprio pool non etichettato e seleziona gli esempi più informativi da etichettare, consentendo al modello globale di migliorare con molti meno etichette totali.

Quale funzione di acquisizione dovrei usare per la valutazione locale?

Il campionamento dell'entropia (scelta degli esempi con la più alta entropia predittiva) è il punto di partenza più comune e funziona bene quando il modello locale è ragionevolmente calibrato. Il margin sampling e BALD (Bayesian Active Learning by Disagreement) sono buone alternative quando la calibrazione dell'incertezza nell'intera federazione è una preoccupazione.

L'Active Learning Federato può essere combinato con la privacy differenziale?

Sì. Meccanismi di privacy differenziale come DP-SGD possono essere applicati durante l'addestramento locale, e l'aggregazione sicura può essere utilizzata lato server. Il budget di privacy deve tenere conto sia degli aggiornamenti del modello sia di eventuali metadati su quali campioni sono stati selezionati per la query.

Cosa succede quando i client hanno quantità molto diverse di dati non etichettati?

I client con grandi pool non etichettati domineranno il budget di query se ognuno riceve una quota assoluta uguale. L'allocazione proporzionale o adattiva del budget — scalando il budget di annotazione di ciascun client in base alla dimensione o all'informatività stimata del suo pool — mitiga questo squilibrio.

Quanti round di federazione sono tipicamente necessari prima che la query attiva sia utile?

Dipende dalla qualità iniziale del modello. Iniziare con almeno alcuni round di addestramento federato standard con dati etichettati disponibili migliora la calibrazione delle stime di incertezza prima di attivare la query attiva. La query a freddo con un modello iniziale casuale può sprecare il budget di annotazione su campioni non informativi.

Metodi correlati

Fonti

  1. Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).

    Apri il riferimento della pubblicazione
    Copiato.
  2. Federated learning. Wikipedia.

    Apri il riferimento della pubblicazione
    Copiato.