Aktywne Uczenie w Uczeniu Federacyjnym
- Autor metody
- Multiple authors (federated active learning emerged ~2020)
- Rok
- 2020s
- Typ
- Hybrid paradigm (active querying within distributed training)
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Aktywne Uczenie Federacyjne łączy efektywność anotacji aktywnego uczenia z decentralizacją uczenia federacyjnego chroniącą prywatność.
Wspólny globalny model jest trenowany na rozproszonych klientach, z których każdy niezależnie szereguje swoje nieoznakowane lokalne dane i żąda etykiet tylko dla najbardziej informatywnych przykładów, zachowując surowe dane na urządzeniu przez cały czas.
Intuicja stojąca za metodą
W standardowym uczeniu federacyjnym każdy klient trenuje na posiadanych już oznakowanych danych, podczas gdy w aktywnym uczeniu centralny arbiter wybiera, które przykłady należy oznaczyć jako następne. Aktywne Uczenie Federacyjne łączy obie idee: każdy klient ocenia własną pulę nieoznakowanych danych lokalnie, wybiera próbki, co do których model jest najbardziej niepewny, i wysyła tylko te do anotatora. Żadne surowe dane nie opuszczają klienta. Globalny serwer następnie agreguje lokalnie zaktualizowane modele, tak jak w standardowym uczeniu federacyjnym, dzięki czemu globalny model poprawia się dzięki najbardziej informatywnym nowym etykietom, nigdy nie zbierając centralnie danych źródłowych.
Historia
Uczenie federacyjne zostało sformalizowane przez McMahan et al. w 2017 roku wraz z algorytmem FedAvg, umożliwiającym zdecentralizowane trenowanie modeli chroniące prywatność. Aktywne uczenie ma swoje korzenie w literaturze z lat 90. dotyczącej zapytań według komitetu i próbkowania niepewności. Ich połączenie — Aktywne Uczenie Federacyjne — wyłoniło się jako aktywny temat badawczy na początku lat 2020., napędzany potrzebą zmniejszenia kosztów anotacji w zastosowaniach medycznych, mobilnych i IoT, gdzie dane nie mogą być scentralizowane. Wiele grup niezależnie zaproponowało ramy łączące lokalną estymację niepewności z agregacją federacyjną, a obszar ten pozostaje otwartą granicą badawczą.
Kiedy stosować
Używaj Aktywnego Uczenia Federacyjnego, gdy oznakowane dane są rzadkie wśród rozproszonych klientów, anotacja jest kosztowna lub wymaga wiedzy eksperckiej, a surowe dane muszą pozostać na urządzeniu ze względów prywatności, regulacyjnych lub przepustowości — na przykład dane medyczne między szpitalami, dane użytkowników na urządzeniach mobilnych lub strumienie danych z czujników IoT. Jest szczególnie potężne, gdy rozkłady danych klientów są heterogeniczne (nie-IID), a budżety anotacji są małe. Nie używaj go, gdy wszystkie dane można swobodnie scentralizować (wystarczy zwykłe aktywne uczenie), gdy klienci nie mają mocy obliczeniowej do oceny własnej puli, gdy szum etykiet jest wysoki (próbkowanie niepewności może wykorzystywać szumne etykiety) lub gdy opóźnienie między rundami anotacji jest ograniczeniem.
Ograniczenia i uwagi
- Narzut komunikacyjny na rundę jest mnożony przez liczbę klientów zgłaszających wybory zapytań.
- Nie-IID rozkłady klientów mogą powodować, że wybór aktywnego uczenia jest tendencyjny w kierunku lokalnych minimów globalnej funkcji straty.
- Synchronizacja rund anotacji między rozproszonymi klientami wprowadza opóźnienia i złożoność koordynacji.
- Ocena wydajności modelu jest trudniejsza bez scentralizowanego oznakowanego zbioru testowego.
- Alokacja budżetu anotacji między klientami wymaga starannego dostrojenia, aby uniknąć niedożywienia małych lub mniejszościowych klientów.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Zachowuje prywatność danych, utrzymując surowe próbki na urządzeniu i udostępniając tylko aktualizacje modelu.
- Dramatycznie zmniejsza koszt anotacji, pobierając tylko najbardziej informatywne próbki na rundę.
- Obsługuje heterogeniczne rozkłady klientów, które wprowadziłyby w błąd scentralizowanego aktywnego uczącego.
- Skaluje się horyzontalnie — więcej klientów zazwyczaj poprawia pokrycie przestrzeni nieoznakowanej.
- Kompatybilne z prywatnością różnicową i bezpieczną agregacją dla silniejszych gwarancji prywatności.
Zastosowania
- Anotacja obrazów medycznych między szpitalami, gdzie dane pacjentów nie mogą być udostępniane.
- Personalizacja na urządzeniu dla klawiatur mobilnych lub rozpoznawania mowy przy minimalnej liczbie etykiet od użytkownika.
- Wykrywanie anomalii w przemysłowym IoT, gdzie dane z czujników muszą pozostać w węzłach brzegowych.
- Rozproszone monitorowanie badań klinicznych wymagające federacyjnych, chroniących prywatność aktualizacji modelu.
- Dostrajanie NLP między organizacjami z zastrzeżonymi korpusami.
- Klasyfikacja teledetekcji, gdzie obrazy satelitarne są przechowywane w geograficznie rozproszonych centrach danych.
Jak to działa
Jak to działa
Globalny model jest inicjalizowany i rozsyłany do wszystkich uczestniczących klientów. Może to być model zainicjalizowany losowo lub wstępnie wytrenowany punkt kontrolny, który określa wspólny punkt wyjścia dla rundy.
Każdy klient stosuje bieżący globalny model do swojej własnej puli nieoznakowanych danych i oblicza wskaźnik informatywności dla każdej próbki — na przykład entropię predykcji, próbkowanie marginesowe lub niezgodność w zapytaniu według komitetu — bez przesyłania danych.
Na podstawie wskaźników informatywności każdy klient wybiera budżet najbardziej niepewnych lub najbardziej reprezentatywnych nieoznakowanych przykładów do anotacji. Strategia wyboru równoważy eksplorację z budżetem anotacji dostępnym na rundę.
Wybrane przykłady (lub tylko ich identyfikatory oraz cechy niezbędne do anotacji) są wysyłane do ludzkiego arbitra lub automatycznego anotatora. Etykiety są zwracane do klienta. Jest to jedyny krok, w którym jakiekolwiek dane mogą opuścić urządzenie, a wdrożenia wrażliwe na prywatność otrzymują je tylko od arbitra.
Każdy klient dostraja globalny model na swoich nowo oznakowanych przykładach — i opcjonalnie na istniejącym zbiorze oznakowanych danych — używając standardowej lokalnej optymalizacji SGD lub Adam przez ustaloną liczbę epok lokalnych.
Klienci przesyłają swoje aktualizacje modelu (gradienty lub różnice wag, nie dane) do serwera. Serwer agreguje te aktualizacje, zazwyczaj za pomocą FedAvg (średnia ważona), tworząc zaktualizowany globalny model, który jest następnie rozsyłany, aby rozpocząć kolejną rundę.
Częste pułapki
- Stosowanie scentralizowanej funkcji pozyskiwania aktywnego uczenia bezpośrednio, bez uwzględniania przesunięcia rozkładu między klientami — lokalne szacunki niepewności mogą nie odzwierciedlać globalnej niepewności modelu.
- Ignorowanie kosztów komunikacji przy projektowaniu budżetu zapytań: żądanie etykiet dla zbyt wielu próbek na klienta na rundę może przeciążyć potoki anotacji.
- Traktowanie globalnego modelu jako zbieżnego po zbyt małej liczbie rund federacyjnych przed zapytaniem, co prowadzi do słabo skalibrowanych szacunków niepewności.
- Niedocenianie powolnych klientów — wolnych lub okresowo dostępnych klientów — co może spowodować przesunięcie agregacji w kierunku rozkładów szybszych klientów.
- Zakładanie IID danych klientów przy stosowaniu agregacji FedAvg, powodując rozbieżność, gdy rozkłady klientów są silnie heterogeniczne.
Najczęściej zadawane pytania
Czym Aktywne Uczenie Federacyjne różni się od standardowego Uczenia Federacyjnego?
Standardowe Uczenie Federacyjne trenuje tylko na oznakowanych danych, które klienci już posiadają. Aktywne Uczenie Federacyjne dodaje krok aktywnego zapytania: każdy klient ocenia swoją pulę nieoznakowanych danych i wybiera najbardziej informatywne przykłady do anotacji, pozwalając globalnemu modelowi poprawić się przy znacznie mniejszej liczbie etykiet.
Jakiej funkcji pozyskiwania należy użyć do lokalnej oceny?
Próbkowanie entropii (wybieranie przykładów o najwyższej entropii predykcyjnej) jest najczęstszym punktem wyjścia i działa dobrze, gdy model lokalny jest rozsądnie skalibrowany. Próbkowanie marginesowe i BALD (Bayesian Active Learning by Disagreement) są dobrymi alternatywami, gdy kalibracja niepewności w całej federacji jest problemem.
Czy Aktywne Uczenie Federacyjne można połączyć z prywatnością różnicową?
Tak. Mechanizmy prywatności różnicowej, takie jak DP-SGD, można zastosować podczas lokalnego trenowania, a agregację bezpieczną można zastosować po stronie serwera. Budżet prywatności musi uwzględniać zarówno aktualizacje modelu, jak i wszelkie metadane dotyczące tego, które próbki zostały wybrane do zapytania.
Co się dzieje, gdy klienci mają bardzo różne ilości nieoznakowanych danych?
Klienci z dużymi pulami nieoznakowanymi zdominują budżet zapytań, jeśli każdy otrzyma równą bezwzględną kwotę. Proporcjonalna lub adaptacyjna alokacja budżetu — skalowanie budżetu anotacji każdego klienta przez rozmiar lub szacowaną informatywność jego puli — łagodzi tę nierównowagę.
Ile rund federacyjnych jest zazwyczaj potrzebnych, zanim aktywne zapytania zaczną pomagać?
Zależy to od początkowej jakości modelu. Rozpoczęcie od co najmniej kilku rund standardowego trenowania federacyjnego z dostępnymi oznakowanymi danymi poprawia kalibrację szacunków niepewności przed włączeniem aktywnego zapytania. Zimny start zapytania z losowym modelem początkowym może zmarnować budżet anotacji na nieinformatywne próbki.
Pokrewne metody
Źródła
Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).
Otwórz odnośnik do publikacjiSkopiowano.Federated learning. Wikipedia.
Otwórz odnośnik do publikacjiSkopiowano.