Federated Aktif Öğrenme
- Ortaya koyan
- Multiple authors (federated active learning emerged ~2020)
- Yıl
- 2020s
- Tür
- Hybrid paradigm (active querying within distributed training)
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Federated Aktif Öğrenme, aktif öğrenmenin etiket verimliliğini, federated öğrenmenin gizlilik korumalı merkezsizleştirmesiyle birleştirir.
Dağıtılmış istemcilerde paylaşılan küresel bir model eğitilir; her istemci bağımsız olarak etiketlenmemiş yerel verilerini sıralar ve yalnızca en bilgilendirici örnekler için etiket talep eder, ham veriyi tüm süreç boyunca cihazda tutar.
Yöntemin mantığı
Standart federated öğrenmede her istemci mevcut etiketli verileri üzerinde eğitilirken, aktif öğrenmede merkezi bir oracle hangi örneklerin etiketleneceğini seçer. Federated Aktif Öğrenme her iki fikri birleştirir: her istemci kendi etiketlenmemiş veri havuzunu yerel olarak puanlar, modelin en belirsiz olduğu örnekleri seçer ve yalnızca bunları bir etiketleyiciye gönderir. Ham veri istemciden ayrılmaz. Küresel sunucu, standart federated öğrenmedeki gibi yerel olarak güncellenmiş modelleri toplar, böylece küresel model, temel verileri merkezi olarak toplamadan en bilgilendirici yeni etiketlerden faydalanarak gelişir.
Tarih
Federated öğrenme, 2017'de McMahan ve arkadaşları tarafından gizlilik korumalı dağıtılmış model eğitimi sağlayan FedAvg algoritması ile biçimlendirilmiştir. Aktif öğrenmenin kökleri 1990'ların komiteye göre sorgulama ve belirsizlik örneklemesi literatürüne dayanmaktadır. Bu ikisinin birleşimi — Federated Aktif Öğrenme — verilerin merkezileştirilemediği sağlık, mobil ve IoT uygulamalarında etiketleme maliyetlerini azaltma ihtiyacıyla 2020'lerin başlarında aktif bir araştırma konusu olarak ortaya çıkmıştır. Birden fazla grup, yerel belirsizlik tahminini federasyon toplama ile birleştiren çerçeveler bağımsız olarak önermiş ve bu alan açık bir araştırma sınırı olmaya devam etmektedir.
Ne zaman kullanılır?
Etiketlenmiş verinin dağıtılmış istemcilerde kıt olduğu, etiketlemenin pahalı olduğu veya alan uzmanlığı gerektirdiği ve ham verinin gizlilik, düzenleyici veya bant genişliği nedenleriyle cihazda kalması gerektiği durumlarda Federated Aktif Öğrenme kullanın — örneğin, hastaneler arasındaki tıbbi kayıtlar, mobil cihazlardaki kullanıcı verileri veya IoT sensör akışları. Özellikle istemci veri dağılımlarının heterojen (non-IID) olduğu ve etiketleme bütçelerinin küçük olduğu durumlarda güçlüdür. Tüm verilerin serbestçe merkezileştirilebildiği durumlarda (standart aktif öğrenme yeterlidir), istemcilerin kendi veri havuzlarını puanlamak için yeterli hesaplama gücüne sahip olmadığı durumlarda, etiket gürültüsünün yüksek olduğu durumlarda (belirsizlik örneklemesi gürültülü etiketleri sömürebilir) veya etiketleme turları arasındaki gecikmenin bağlayıcı bir kısıtlama olduğu durumlarda kullanmayın.
Sınırlar ve dikkat edilmesi gerekenler
- Tur başına iletişim yükü, sorgu seçimlerini bildiren istemci sayısıyla çarpılır.
- İstemci dağılımlarının non-IID olması, aktif öğrenme seçiminin küresel kayıp fonksiyonunun yerel minimumlarına doğru yanlı olmasına neden olabilir.
- Dağıtılmış istemciler arasında etiketleme turlarını senkronize etmek gecikme ve koordinasyon karmaşıklığı yaratır.
- Merkezi bir etiketlenmiş test kümesi olmadan model performansını değerlendirmek daha zordur.
- İstemciler arasındaki etiketleme bütçesi tahsisi, küçük veya azınlık istemcilerini aç bırakmaktan kaçınmak için dikkatli bir şekilde ayarlanmalıdır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Ham örnekleri cihazda tutarak ve yalnızca model güncellemelerini paylaşarak veri gizliliğini korur.
- Her turda yalnızca en bilgilendirici örnekleri sorgulayarak etiketleme maliyetini önemli ölçüde azaltır.
- Merkezi bir aktif öğrenme programını yanıltacak heterojen istemci dağılımlarını ele alır.
- Yatay olarak ölçeklenir — daha fazla istemci genellikle etiketlenmemiş uzayın kapsamını iyileştirir.
- Daha güçlü gizlilik garantileri için diferansiyel gizlilik ve güvenli toplama ile uyumludur.
Uygulama alanları
- Hasta verilerinin paylaşılamadığı hastaneler arasındaki tıbbi görüntü etiketlemesi.
- Minimum kullanıcı etiketlemesi ile mobil klavyeler veya konuşma tanıma için cihaz içi kişiselleştirme.
- Sensör verilerinin uç düğümlerde kalması gereken endüstriyel IoT anomali tespiti.
- Dağıtılmış, gizlilik korumalı model güncellemeleri gerektiren dağıtılmış klinik deneme izleme.
- Mülkiyetli veri kümelerine sahip kuruluşlar arasında çapraz silo NLP ince ayarı.
- Uydu görüntülerinin coğrafi olarak dağıtılmış veri merkezlerinde depolandığı uzaktan algılama sınıflandırması.
Nasıl çalışır?
Nasıl çalışır?
Küresel bir model başlatılır ve tüm katılımcı istemcilere yayınlanır. Bu, rastgele başlatılmış bir model veya önceden eğitilmiş bir kontrol noktası olabilir ve tur için paylaşılan başlangıç noktasını tanımlar.
Her istemci, veriyi iletmeden, mevcut küresel modeli kendi etiketlenmemiş yerel veri havuzuna uygular ve her örnek için bir bilgilendiricilik puanı hesaplar — örneğin, tahmin entropisi, marj örneklemesi veya komiteye göre sorgulama anlaşmazlığı —.
Bilgilendiricilik puanlarına dayanarak, her istemci etiketlenecek en belirsiz veya en temsili etiketlenmemiş örneklerden oluşan bir bütçe seçer. Seçim stratejisi, keşif ile tur başına mevcut etiketleme bütçesi arasında bir denge kurar.
Seçilen örnekler (veya yalnızca tanımlayıcıları ve etiketleme için gerekli özellikler) bir insan oracle'ına veya otomatik etiketleyiciye gönderilir. Etiketler istemciye döndürülür. Verinin cihazdan ayrılabileceği tek adım budur ve gizliliğe duyarlı dağıtımlarda yalnızca oracle bunları alır.
Her istemci, küresel modeli yeni etiketlenmiş örnekleri üzerinde — ve isteğe bağlı olarak mevcut etiketli kümesi üzerinde — standart yerel SGD veya Adam optimizasyonu kullanarak sabit sayıda yerel epoch boyunca ince ayarlar.
İstemciler model güncellemelerini (veri değil, gradyanlar veya ağırlık farkları) sunucuya yükler. Sunucu, genellikle FedAvg (ağırlıklı ortalama) yoluyla bu güncellemeleri toplar ve güncellenmiş küresel modeli oluşturur, bu model daha sonra bir sonraki turu başlatmak üzere yayınlanır.
Sık yapılan hatalar
- İstemciler arasındaki dağılım kaymasını dikkate almadan doğrudan merkezi bir aktif öğrenme edinme fonksiyonu uygulamak — yerel belirsizlik tahminleri küresel model belirsizliğini yansıtmayabilir.
- Sorgu bütçesini tasarlarken iletişim maliyetlerini göz ardı etmek: istemci başına tur başına çok fazla örnek için etiket talep etmek etiketleme işlem hatlarını aşırı yükleyebilir.
- Aktif sorgulama başlamadan önce küresel modelin çok az federasyon turundan sonra yakınsadığını varsaymak, bilgilendirici olmayan örneklere etiketleme bütçesinin boşa harcanmasına yol açar.
- Yavaş veya aralıklı olarak kullanılabilen istemcileri — hızlı istemcilerin dağılımlarına doğru toplamayı yanlı hale getirebilecek — ihmal etmek.
- İstemci dağılımları oldukça heterojen olduğunda yakınsama sorunlarına neden olan FedAvg toplamasını uygularken IID istemci verilerini varsaymak.
Sık sorulan sorular
Federated Aktif Öğrenme, standart Federated Öğrenme'den nasıl farklıdır?
Standart Federated Öğrenme yalnızca istemcilerin zaten sahip olduğu etiketli veriler üzerinde eğitilir. Federated Aktif Öğrenme, aktif bir sorgulama adımı ekler: her istemci kendi etiketlenmemiş veri havuzunu puanlar ve en bilgilendirici örnekleri etiketlenmek üzere seçer, bu da küresel modelin çok daha az toplam etiketle gelişmesini sağlar.
Yerel puanlama için hangi edinme fonksiyonunu kullanmalıyım?
Entropi örneklemesi (en yüksek tahmin entropisine sahip örnekleri seçme), makul derecede kalibre edilmiş yerel modelin olduğu durumlarda iyi çalışan en yaygın başlangıç noktasıdır. Marj örneklemesi ve BALD (Belirsizliğe Göre Bayes Aktif Öğrenme), federasyon genelinde belirsizlik kalibrasyonunun bir endişe olduğu durumlarda iyi alternatiflerdir.
Federated Aktif Öğrenme diferansiyel gizlilik ile birleştirilebilir mi?
Evet. DP-SGD gibi diferansiyel gizlilik mekanizmaları yerel eğitim sırasında uygulanabilir ve sunucu tarafında güvenli toplama kullanılabilir. Gizlilik bütçesi hem model güncellemelerini hem de sorgulama için hangi örneklerin seçildiğine dair herhangi bir meta veriyi hesaba katmalıdır.
İstemcilerin çok farklı miktarlarda etiketlenmemiş veriye sahip olması durumunda ne olur?
Büyük etiketlenmemiş veri havuzlarına sahip istemciler, her biri eşit mutlak kota alırsa sorgu bütçesine hakim olacaktır. Orantılı veya uyarlanabilir bütçe tahsisi — her istemcinin etiketleme bütçesini havuzunun boyutuna veya tahmin edilen bilgilendiriciliğine göre ölçeklendirme — bu dengesizliği azaltır.
Aktif sorgulama yardımcı olmadan önce tipik olarak kaç federasyon turu gereklidir?
İlk model kalitesine bağlıdır. Aktif sorgulamayı açmadan önce belirsizlik tahminlerinin kalibrasyonunu iyileştirmek için mevcut etiketli verilerle en az birkaç tur standart federasyon eğitimi ile başlamak gerekir. Rastgele bir başlangıç modeliyle soğuk başlangıç sorgulaması, etiketleme bütçesini bilgilendirici olmayan örneklere harcayabilir.
İlgili yöntemler
Kaynaklar
Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).
Yayın kaynağını açKopyalandı.Federated learning. Wikipedia.
Yayın kaynağını açKopyalandı.