Föderiertes Lernen
- Eingeführt von
- McMahan et al.
- Jahr
- 2017
- Typ
- Distributed privacy-preserving machine learning
- Familie
- Privacy-preserving analysis
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Föderiertes Lernen (Federated Learning) ist ein verteiltes maschinelles Lernparadigma, das 2017 von McMahan et al. eingeführt wurde.
Dabei wird ein globales Modell kollaborativ über mehrere dezentrale Clients – wie mobile Geräte oder Krankenhaussysteme – hinweg trainiert, ohne jemals Rohdaten an einen zentralen Server zu übertragen. Jeder Teilnehmer berechnet Modellaktualisierungen lokal unter Verwendung seiner privaten Daten; nur diese Aktualisierungen, nicht die zugrunde liegenden Daten, werden vom Server kommuniziert und aggregiert, um das gemeinsame Modell zu verbessern.
Die Intuition hinter der Methode
Stellen Sie sich eine Gruppe von Forschern in verschiedenen Krankenhäusern vor, die jeweils Patientenakten untersuchen, die sie aufgrund von Datenschutzgesetzen nicht teilen können. Anstatt die Akten in einer Datenbank zusammenzuführen, trainiert jedes Krankenhaus eine lokale Version des Modells mit seinen eigenen Patienten und sendet dann nur eine Zusammenfassung dessen, was es gelernt hat – nicht die Akten selbst – an einen Koordinator, der alle Zusammenfassungen zu einem verbesserten Modell zusammenführt. Es verlassen niemals Patientendaten die Ursprungsinstitution, dennoch wird die kollektive Intelligenz jedes Krankenhauses erfasst.
Geschichte
Der Begriff und das Framework wurden 2017 von McMahan et al. bei Google eingeführt, motiviert durch die Notwendigkeit, Sprachmodelle auf mobilen Geräten zu trainieren, ohne sensible Texte hochzuladen. Der grundlegende FedAvg-Algorithmus zeigte, dass das Mitteln lokal trainierter Gewichte sowohl kommunikationseffizient als auch mit zentralisiertem Training vergleichbar ist. Nachfolgende Forschung erweiterte das föderierte Lernen, um nicht-IID-Daten zu verarbeiten, formale Differential-Privacy-Garantien hinzuzufügen, sichere Mehrparteienberechnungen für die Aggregation zu integrieren und das Paradigma auf Cross-Silo-Einstellungen wie Krankenhausnetzwerke anzuwenden.
Wann wird sie eingesetzt?
Verwenden Sie Föderiertes Lernen, wenn Trainingsdaten über viele Clients verteilt sind und aufgrund von Datenschutzbestimmungen, Datenhoheitseinschränkungen oder Kommunikationskosten nicht zentralisiert werden können – zum Beispiel bei mobilen Tastaturen, medizinischer Bildgebung in Krankenhäusern oder IoT-Sensornetzwerken. Wichtige Annahmen sind ausreichende lokale Daten pro Client und eine gemeinsame Aufgabe für alle Teilnehmer. Es ist weniger geeignet, wenn die Datenverteilungen der Clients stark heterogen (nicht-IID) sind, die Kommunikationsbandbreite stark begrenzt ist oder wenn starke formale Datenschutzgarantien über die Datenlokalität hinaus erforderlich sind (in diesem Fall ist eine Kombination mit Differential Privacy in Betracht zu ziehen).
Grenzen und Hinweise
- Die Konvergenz kann langsam und instabil sein, wenn die Datenverteilungen der Clients stark nicht-IID sind.
- Der Kommunikationsaufwand über viele Runden kann in Netzwerken mit geringer Bandbreite erheblich sein.
- Modellaktualisierungen können immer noch Informationen über lokale Daten durch Gradienteninversion oder Membership-Inference-Angriffe preisgeben.
- Nachzügler und ausgefallene Clients erschweren die synchrone Aggregation und können das globale Modell verzerren.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Bewahrt den Datenschutz durch Design: Rohdaten verlassen niemals das Client-Gerät oder die Institution.
- Skaliert auf Millionen heterogener Edge-Geräte ohne zentrale Speicherung.
- Reduziert Datenübertragungskosten, da nur Modellaktualisierungen, nicht Datensätze, kommuniziert werden.
- Ermöglicht das Lernen in sensiblen Bereichen (Gesundheitswesen, Finanzen), in denen die Datenfreigabe gesetzlich eingeschränkt ist.
Anwendungen
- Wortvorhersage und Tastaturpersonalisierung auf mobilen Geräten ohne Hochladen von Benutzertext.
- Training von Modellen für medizinische Bildgebung in Krankenhäusern, die Patientendaten nicht teilen können.
- Betrugserkennung bei Banken, die Verhaltensmuster, aber keine Transaktionshistorien teilen.
- Trainieren von Wahrnehmungsmodellen für autonome Fahrzeuge in einer Flotte ohne Zentralisierung von Sensorprotokollen.
- Tragbare Gesundheitsüberwachung, die persönliche Baselines lernt, während biometrische Daten auf dem Gerät verbleiben.
So funktioniert es
So funktioniert es
Zu Beginn jeder Kommunikationsrunde wählt der Server eine zufällige Untergruppe verfügbarer Clients aus und übermittelt ihnen die aktuellen globalen Modellgewichte. Diese Übertragung stellt sicher, dass alle teilnehmenden Clients die lokale Berechnung von einem gemeinsamen Ausgangspunkt aus beginnen, was eine kohärente Aggregation später ermöglicht. Die Auswahl nur einer Untergruppe statt aller Clients hält jede Runde überschaubar, selbst wenn Tausende von Geräten registriert sind.
Formel
w_t \rightarrow \text{subset } S_t \subset \{1,\ldots,N\}Jeder ausgewählte Client führt einen oder mehrere Schritte des stochastischen Gradientenabstiegs auf seinem privaten lokalen Datensatz aus, wobei die empfangenen globalen Gewichte als Ausgangspunkt dienen. Der Client berechnet den Gradienten seiner lokalen Verlustfunktion und aktualisiert die Gewichte entsprechend. Nur diese aktualisierten Gewichte – nicht die Rohgradienten oder die Trainingsdaten – werden für die Übertragung zurück an den Server vorbereitet.
Formel
w_{t+1}^k = w_t - \eta \nabla \mathcal{L}_k(w_t)Der Server sammelt aktualisierte Gewichte von allen teilnehmenden Clients und berechnet einen gewichteten Durchschnitt, wobei der Beitrag jedes Clients proportional zur Größe seines lokalen Datensatzes im Verhältnis zu den Gesamtdaten aller Teilnehmer ist. Dieser Schritt des Federated Averaging (FedAvg) erzeugt ein neues globales Modell, das Informationen aus den privaten Daten jedes Clients integriert, ohne dass Rohdaten die Geräte verlassen.
Formel
w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n} w_{t+1}^kDas aggregierte globale Modell wird anhand eines Konvergenzkriteriums evaluiert, typischerweise einer Grenze für den erwarteten Verlust relativ zum optimalen Verlust. Wenn das Kriterium noch nicht erfüllt ist, erhöht der Server den Rundenzähler und sendet das aktualisierte globale Modell an eine neue Untergruppe von Clients, wobei der Zyklus wiederholt wird, bis das Modell konvergiert oder eine maximale Anzahl von Runden erreicht ist.
Formel
\mathbb{E}[\mathcal{L}(w_T)] \leq \mathcal{L}^* + \epsilonHäufige Fallstricke
- Annahme, dass föderiertes Training allein für den Datenschutz ausreicht: Ohne zusätzliche Mechanismen wie Differential Privacy oder sichere Aggregation bleiben Modellaktualisierungen anfällig.
- Ignorieren der Datenheterogenität: Die Anwendung von einfachem FedAvg auf stark nicht-IID-Daten führt oft zu Client-Drift und schlechter globaler Modellleistung.
- Übersehen von byzantinischen oder bösartigen Clients: Ein kleiner Teil adverser Teilnehmer kann das aggregierte Modell korrumpieren, wenn keine robuste Aggregation angewendet wird.
- Kommunikationsrunden als kostenlos betrachten: Die kumulativen Kosten vieler Runden über langsame Verbindungen können den Vorteil der Dezentralisierung überwiegen.
Häufig gestellte Fragen
Garantiert Föderiertes Lernen vollständige Privatsphäre?
Nicht von selbst. Obwohl Rohdaten niemals Client-Geräte verlassen, können Modellaktualisierungen (Gradienten) immer noch Informationen durch Gradienteninversion oder Membership-Inference-Angriffe preisgeben. Die Kombination von föderiertem Lernen mit Differential-Privacy-Rauschzugabe und sicheren Aggregationsprotokollen stärkt die Datenschutzgarantien erheblich, aber jede Schicht bringt ihre eigenen Kompromisse bei Genauigkeit oder Kommunikation mit sich.
Wie geht Föderiertes Lernen mit nicht-IID-Daten über Clients hinweg um?
Standard-FedAvg kann divergieren, wenn sich die Datenverteilungen der Clients stark voneinander unterscheiden – ein Phänomen, das als Client-Drift bezeichnet wird. Abhilfemaßnahmen umfassen die Erhöhung der lokalen Batch-Größen, die Reduzierung lokaler Epochen, die Anwendung personalisierter föderierter Lernvarianten (wie FedProx oder SCAFFOLD) oder die Verwendung von serverseitigem Momentum. Der Schweregrad hängt vom Grad der statistischen Heterogenität zwischen den Clients ab.
Wie viele Clients und Runden sind typischerweise für die Konvergenz erforderlich?
McMahan et al. zeigten, dass FedAvg selbst mit einem kleinen Anteil von pro Runde gesampelten Clients (z. B. 10 von 100) innerhalb von zehn bis hundert Runden für Standardaufgaben konvergiert. In der Praxis hängt die Anzahl von der Datensatzgröße pro Client, dem Grad der Nicht-IID-Eigenschaft, der Lernrate und der Anzahl der lokalen Gradientenschritte ab, die vor jeder Aggregation durchgeführt werden.
Verwandte Methoden
Quellen
McMahan, B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Artificial Intelligence and Statistics, 1273–1282.
Publikationsreferenz öffnenKopiert.