Zum Inhalt springen
Zurück zu den Suchergebnissen

Aktives Lernen im Verbund

Eingeführt von
Multiple authors (federated active learning emerged ~2020)
Jahr
2020s
Typ
Hybrid paradigm (active querying within distributed training)
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Aktives Lernen im Verbund (Federated Active Learning) kombiniert die Annotationseffizienz des aktiven Lernens mit der datenschutzfreundlichen Dezentralisierung des föderierten Lernens.

Ein gemeinsames globales Modell wird über verteilte Clients hinweg trainiert, von denen jeder seine unbeschrifteten lokalen Daten unabhängig voneinander einstuft und nur für die informativsten Beispiele Beschriftungen anfordert, wobei Rohdaten während des gesamten Prozesses auf dem Gerät verbleiben.

Die Intuition hinter der Methode

Beim Standard- föderierten Lernen trainiert jeder Client mit den bereits vorhandenen beschrifteten Daten, während beim aktiven Lernen ein zentrales Orakel auswählt, welche Beispiele als Nächstes beschriftet werden sollen. Federated Active Learning vereint beide Ideen: Jeder Client bewertet seinen eigenen unbeschrifteten Pool lokal, wählt die Samples aus, bei denen das Modell am unsichersten ist, und sendet nur diese an einen Beschrifter. Keine Rohdaten verlassen den Client. Der globale Server aggregiert dann die lokal aktualisierten Modelle wie beim Standard- föderierten Lernen, sodass das globale Modell durch die informativsten neuen Beschriftungen verbessert wird, ohne die zugrunde liegenden Daten zentral zu sammeln.

Geschichte

Das föderierte Lernen wurde 2017 von McMahan et al. mit dem FedAvg-Algorithmus formalisiert und ermöglicht datenschutzfreundliches dezentrales Modelltraining. Aktives Lernen hat seine Wurzeln in der Literatur zu Query-by-Committee und Uncertainty Sampling aus den 1990er Jahren. Ihre Kombination – Federated Active Learning – entwickelte sich in den frühen 2020er Jahren zu einem aktiven Forschungsthema, angetrieben durch die Notwendigkeit, die Beschriftungskosten in den Bereichen Gesundheitswesen, Mobilfunk und IoT zu senken, wo Daten nicht zentralisiert werden können. Mehrere Gruppen schlugen unabhängig voneinander Frameworks vor, die lokale Unsicherheitsschätzung mit föderierter Aggregation kombinieren, und das Gebiet bleibt eine offene Forschungsfront.

Wann wird sie eingesetzt?

Verwenden Sie Federated Active Learning, wenn beschriftete Daten über verteilte Clients hinweg knapp sind, die Beschriftung teuer ist oder Fachkenntnisse erfordert und Rohdaten aus Datenschutz-, regulatorischen oder Bandbreitengründen auf dem Gerät verbleiben müssen – z. B. Krankenakten über Krankenhäuser hinweg, Benutzerdaten auf Mobilgeräten oder IoT-Sensorströme. Es ist besonders leistungsfähig, wenn die Datenverteilungen der Clients heterogen (nicht-IID) sind und die Annotationsbudgets klein sind. Verwenden Sie es nicht, wenn alle Daten frei zentralisiert werden können (einfaches aktives Lernen reicht aus), wenn Clients nicht über die Rechenleistung verfügen, um ihren eigenen Pool zu bewerten, wenn das Beschriftungsrauschen hoch ist (Unsicherheitsabtastung kann verrauschte Beschriftungen ausnutzen) oder wenn die Latenz zwischen den Beschriftungsrunden eine Einschränkung darstellt.

Grenzen und Hinweise

  • Der Kommunikationsaufwand pro Runde wird mit der Anzahl der Clients multipliziert, die Abfrageauswahlen melden.
  • Nicht-IID-Client-Verteilungen können dazu führen, dass die Auswahl des aktiven Lernens auf lokale Minima des globalen Verlusts ausgerichtet ist.
  • Die Synchronisierung von Annotationsrunden über verteilte Clients hinweg führt zu Latenz und Koordinationskomplexität.
  • Die Bewertung der Modellleistung ist ohne einen zentralisierten beschrifteten Testdatensatz schwieriger.
  • Die Zuweisung des Annotationsbudgets über Clients hinweg erfordert sorgfältige Abstimmung, um kleine oder Minderheits-Clients nicht zu vernachlässigen.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Bewahrt den Datenschutz, indem Rohdaten auf dem Gerät verbleiben und nur Modellaktualisierungen ausgetauscht werden.
  • Reduziert die Beschriftungskosten drastisch, indem pro Runde nur die informativsten Beispiele abgefragt werden.
  • Verarbeitet heterogene Client-Verteilungen, die einen zentralisierten aktiven Lerner irreführen würden.
  • Skaliert horizontal – mehr Clients verbessern typischerweise die Abdeckung des unbeschrifteten Raums.
  • Kompatibel mit differentieller Privatsphäre und sicherer Aggregation für stärkere Datenschutzgarantien.

Anwendungen

  • Annotation medizinischer Bilder über Krankenhäuser hinweg, bei denen Patientendaten nicht geteilt werden dürfen.
  • On-Device-Personalisierung für mobile Tastaturen oder Spracherkennung mit minimaler Benutzerannotation.
  • Industrielle IoT-Anomalieerkennung, bei der Sensordaten an Edge-Knoten verbleiben müssen.
  • Verteilte Überwachung klinischer Studien, die föderierte, datenschutzfreundliche Modellaktualisierungen erfordert.
  • Cross-Silo-NLP-Feinabstimmung über Organisationen mit proprietären Korpora hinweg.
  • Klassifizierung von Fernerkundungsdaten, bei der Satellitenbilder in geografisch verteilten Rechenzentren gespeichert sind.

So funktioniert es

So funktioniert es

1

Ein globales Modell wird initialisiert und an alle teilnehmenden Clients gesendet. Dies kann ein zufällig initialisiertes Modell oder ein vortrainierter Checkpoint sein und definiert den gemeinsamen Ausgangspunkt für die Runde.

2

Jeder Client wendet das aktuelle globale Modell auf seinen eigenen unbeschrifteten lokalen Pool an und berechnet für jedes Sample eine Informationswert-Punktzahl – z. B. Vorhersageentropie, Margin Sampling oder Query-by-Committee-Disagreement –, ohne die Daten zu übertragen.

3

Basierend auf den Informationswert-Punktzahlen wählt jeder Client ein Budget der unsichersten oder repräsentativsten unbeschrifteten Beispiele zur Annotation aus. Die Auswahlstrategie gleicht Exploration mit dem pro Runde verfügbaren Annotationsbudget aus.

4

Die ausgewählten Beispiele (oder nur ihre Identifikatoren plus Merkmale, die für die Annotation erforderlich sind) werden an ein menschliches Orakel oder einen automatisierten Beschrifter gesendet. Beschriftungen werden an den Client zurückgegeben. Dies ist der einzige Schritt, bei dem Daten das Gerät verlassen können, und in datenschutzsensiblen Anwendungen erhalten nur die Orakel sie.

5

Jeder Client verfeinert das globale Modell anhand seiner neu beschrifteten Beispiele – und optional anhand seines vorhandenen beschrifteten Satzes – unter Verwendung der Standardoptimierung SGD oder Adam mit einer festen Anzahl lokaler Epochen.

6

Clients laden ihre Modellaktualisierungen (Gradienten oder Gewichtsänderungen, keine Daten) zum Server hoch. Der Server aggregiert diese Aktualisierungen, typischerweise über FedAvg (gewichtete Mittelwertbildung), um das aktualisierte globale Modell zu bilden, das dann gesendet wird, um die nächste Runde zu starten.

Häufige Fallstricke

  • Anwendung einer zentralisierten Akquisitionsfunktion für aktives Lernen direkt, ohne Berücksichtigung von Verteilungsverschiebungen zwischen Clients – lokale Unsicherheitsschätzungen spiegeln möglicherweise nicht die globale Modellunsicherheit wider.
  • Ignorieren von Kommunikationskosten bei der Gestaltung des Abfragebudgets: Das Anfordern von Beschriftungen für zu viele Samples pro Client pro Runde kann Annotations-Pipelines überlasten.
  • Behandlung des globalen Modells als konvergiert nach zu wenigen Föderationsrunden vor der Abfrage, was zu schlecht kalibrierten Unsicherheitsschätzungen führt.
  • Vernachlässigung von Nachzüglern – langsamen oder intermittierend verfügbaren Clients –, die die Aggregation zu den Verteilungen schnellerer Clients verzerren können.
  • Annahme von IID-Client-Daten bei der Anwendung der FedAvg-Aggregation, was bei stark heterogenen Client-Verteilungen zu Divergenz führt.

Häufig gestellte Fragen

Wie unterscheidet sich Federated Active Learning vom Standard-Federated Learning?

Standard-Federated Learning trainiert nur mit den beschrifteten Daten, die Clients bereits besitzen. Federated Active Learning fügt einen aktiven Abfrageschritt hinzu: Jeder Client bewertet seinen unbeschrifteten Pool und wählt die informativsten Beispiele zur Annotation aus, wodurch sich das globale Modell mit weitaus weniger Gesamtanmerkungen verbessern kann.

Welche Akquisitionsfunktion sollte ich für die lokale Bewertung verwenden?

Entropy Sampling (Auswahl von Beispielen mit der höchsten Vorhersageentropie) ist der gängigste Ausgangspunkt und funktioniert gut, wenn das lokale Modell einigermaßen kalibriert ist. Margin Sampling und BALD (Bayesian Active Learning by Disagreement) sind gute Alternativen, wenn die Kalibrierung der Unsicherheit über die Föderation hinweg ein Problem darstellt.

Kann Federated Active Learning mit differentieller Privatsphäre kombiniert werden?

Ja. Differential-Privacy-Mechanismen wie DP-SGD können während des lokalen Trainings angewendet werden, und Secure Aggregation kann serverseitig verwendet werden. Das Datenschutzkontingent muss sowohl die Modellaktualisierungen als auch alle Metadaten darüber enthalten, welche Samples für die Abfrage ausgewählt wurden.

Was passiert, wenn Clients sehr unterschiedliche Mengen an unbeschrifteten Daten haben?

Clients mit großen unbeschrifteten Pools werden das Abfragebudget dominieren, wenn jeder ein gleiches absolutes Kontingent erhält. Proportionale oder adaptive Budgetzuweisung – Skalierung des Annotationsbudgets jedes Clients nach der Größe oder dem geschätzten Informationsgehalt seines Pools – mildert dieses Ungleichgewicht ab.

Wie viele Föderationsrunden sind typischerweise erforderlich, bevor aktives Abfragen hilft?

Es hängt von der anfänglichen Modellqualität ab. Beginnen Sie mit mindestens einigen Runden Standard- föderiertem Training mit verfügbaren beschrifteten Daten, um die Kalibrierung der Unsicherheitsschätzungen zu verbessern, bevor Sie das aktive Abfragen einschalten. Kaltstart-Abfragen mit einem zufällig initialisierten Modell können das Annotationsbudget für uninteressante Beispiele verschwenden.

Verwandte Methoden

Quellen

  1. Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).

    Publikationsreferenz öffnen
    Kopiert.
  2. Federated learning. Wikipedia.

    Publikationsreferenz öffnen
    Kopiert.