Federated Learning
- Ortaya koyan
- McMahan et al.
- Yıl
- 2017
- Tür
- Distributed privacy-preserving machine learning
- Aile
- Privacy-preserving analysis
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Federated Learning, McMahan ve diğerleri tarafından 2017'de tanıtılan dağıtık bir makine öğrenmesi paradigmasıdır; bu paradigmada, ham veriler asla merkezi bir sunucuya aktarılmadan, birden çok merkezi olmayan istemci (mobil cihazlar veya hastane sistemleri gibi) üzerinde işbirlikçi bir şekilde küresel bir model eğitilir.
Her katılımcı, kendi özel verilerini kullanarak modeli yerel olarak günceller; yalnızca bu güncellemeler, temel veriler değil, paylaşılan modeli iyileştirmek için sunucu tarafından iletilir ve toplanır.
Yöntemin mantığı
Her biri hasta kayıtlarını inceleyen ancak gizlilik yasaları nedeniyle paylaşamayan farklı hastanelerdeki bir grup araştırmacıyı hayal edin. Kayıtları tek bir veritabanında toplamak yerine, her hastane kendi hastaları üzerinde modelin yerel bir sürümünü eğitir, ardından öğrendiklerinin yalnızca bir özetini – kayıtların kendilerini değil – gönderen bir koordinatöre iletir; bu koordinatör, tüm özetleri harmanlayarak tek bir geliştirilmiş model oluşturur. Hiçbir hasta verisi kaynağından ayrılmaz, ancak her hastanenin kolektif zekası yakalanır.
Tarih
Terim ve çerçeve, 2017'de Google'da McMahan ve diğerleri tarafından, mobil cihazlarda hassas metinleri yüklemeden dil modellerini eğitme ihtiyacından esinlenerek tanıtıldı. Temel FedAvg algoritması, yerel olarak eğitilmiş ağırlıkları ortalamanın hem iletişim açısından verimli hem de merkezi eğitime rakip olabileceğini gösterdi. Daha sonraki araştırmalar, federated learning'i non-IID verileri işlemek, resmi diferansiyel gizlilik garantileri eklemek, toplama için güvenli çok taraflı hesaplamayı dahil etmek ve paradigmayı hastane ağları gibi çapraz silo ayarlarına uygulamak için genişletti.
Ne zaman kullanılır?
Veri gizlilik düzenlemeleri, veri sahipliği kısıtlamaları veya iletişim maliyetleri nedeniyle merkezi hale getirilemeyen ve istemciler arasında dağıtılmış eğitim verileri olduğunda Federated Learning'i kullanın – örneğin, mobil klavyeler, hastaneler arasında tıbbi görüntüleme veya IoT sensör ağları. Temel varsayımlar, istemci başına yeterli yerel veri ve tüm katılımcılar arasında paylaşılan bir görev içerir. İstemci veri dağılımlarının oldukça heterojen (non-IID) olduğu, iletişim bant genişliğinin ciddi şekilde sınırlı olduğu veya veri yerelliği dışındaki güçlü resmi gizlilik garantilerinin gerekli olduğu durumlarda daha az uygundur (bu durumda diferansiyel gizlilik ile birleştirmeyi düşünün).
Sınırlar ve dikkat edilmesi gerekenler
- İstemci veri dağılımları oldukça non-IID olduğunda yakınsama yavaş ve kararsız olabilir.
- Birçok tur boyunca iletişim yükü, düşük bant genişliğine sahip ağlarda önemli olabilir.
- Model güncellemeleri, gradyan tersine mühendislik veya üyelik çıkarımı saldırıları yoluyla yerel veriler hakkında bilgi sızdırabilir.
- Geciken ve düşen istemciler senkronize toplamayı karmaşıklaştırır ve küresel modeli yanlı hale getirebilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Verilerin istemci cihazından veya kurumundan asla ayrılmamasıyla tasarıma göre veri gizliliğini korur.
- Depolamayı merkezileştirmeden milyonlarca heterojen uç cihaza ölçeklenir.
- Yalnızca model güncellemeleri, veri kümeleri değil, iletildiği için veri aktarım maliyetlerini azaltır.
- Yasal olarak kısıtlanmış hassas alanlardan (sağlık, finans) öğrenmeyi sağlar.
Uygulama alanları
- Mobil cihazlarda kullanıcı metinlerini yüklemeden sonraki kelime tahmini ve klavye kişiselleştirme.
- Hasta kayıtlarını paylaşamayan hastaneler arasında tıbbi görüntüleme modeli eğitimi.
- Davranışsal örüntüleri paylaşan ancak işlem geçmişlerini paylaşmayan bankalar arasında dolandırıcılık tespiti.
- Sensör günlüklerini merkezileştirmeden bir filo genelinde eğitilen otonom araç algılama modelleri.
- Biyometrik verileri cihazda tutarken kişisel temelleri öğrenen giyilebilir sağlık izleme.
Nasıl çalışır?
Nasıl çalışır?
Her iletişim turunun başında sunucu, mevcut istemcilerin rastgele bir alt kümesini seçer ve mevcut küresel model ağırlıklarını bunlara iletir. Bu yayın, tüm katılımcı istemcilerin ortak bir başlangıç noktasından yerel hesaplamaya başlamasını sağlar, bu da daha sonra tutarlı bir toplama yapılmasına olanak tanır. Tüm istemciler yerine yalnızca bir alt küme seçmek, binlerce cihaz kayıtlı olsa bile her turu yönetilebilir kılar.
Formül
w_t \rightarrow \text{subset } S_t \subset \{1,\ldots,N\}Seçilen her istemci, alınan küresel ağırlıkları başlangıç noktası olarak kullanarak, özel yerel veri kümesi üzerinde stokastik gradyan inişinin bir veya daha fazla adımını çalıştırır. İstemci, yerel kayıp fonksiyonunun gradyanını hesaplar ve ağırlıkları buna göre günceller. Yalnızca bu güncellenmiş ağırlıklar – ham gradyanlar veya eğitim verileri değil – sunucuya iletilmek üzere hazırlanır.
Formül
w_{t+1}^k = w_t - \eta \nabla \mathcal{L}_k(w_t)Sunucu, katılan tüm istemcilerden güncellenmiş ağırlıkları toplar ve her istemcinin katkısının, katılımcıların toplam verilerine oranla yerel veri kümesi boyutuna orantılı olduğu ağırlıklı bir ortalama hesaplar. Bu Federated Averaging (FedAvg) adımı, ham verilerin cihazlardan ayrılmadan her istemcinin özel verilerinden bilgi içeren yeni bir küresel model üretir.
Formül
w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n} w_{t+1}^kToplanan küresel model, bir yakınsama kriterine karşı değerlendirilir; bu genellikle optimal kayba göre beklenen kayıp üzerindeki bir sınırdır. Kriter henüz karşılanmadıysa, sunucu tur sayacını artırır ve güncellenmiş küresel modeli yeni bir istemci alt kümesine yayınlar, model yakınsayana veya maksimum tur sayısına ulaşılana kadar döngüyü tekrarlar.
Formül
\mathbb{E}[\mathcal{L}(w_T)] \leq \mathcal{L}^* + \epsilonSık yapılan hatalar
- Federated training'in tek başına gizlilik için yeterli olduğunu varsaymak: diferansiyel gizlilik veya güvenli toplama gibi ek mekanizmalar olmadan, model güncellemeleri savunmasız kalır.
- Veri heterojenliğini göz ardı etmek: Vanilla FedAvg'ı ciddi şekilde non-IID verilere uygulamak genellikle istemci kaymasına ve küresel model performansının düşmesine neden olur.
- Byzantine veya kötü niyetli istemcileri göz ardı etmek: küçük bir orandaki düşmanca katılımcı, sağlam toplama uygulanmazsa toplanan modeli bozabilir.
- İletişim turlarını ücretsiz varsaymak: yavaş bağlantılar üzerinden birçok turun kümülatif maliyeti, merkezsizleştirme faydasını aşabilir.
Sık sorulan sorular
Federated Learning tam gizliliği garanti eder mi?
Tek başına değil. Ham veriler istemci cihazlarından ayrılmasa da, model güncellemeleri (gradyanlar) gradyan tersine mühendislik veya üyelik çıkarımı saldırıları yoluyla bilgi sızdırabilir. Federated learning'i diferansiyel gizlilik gürültü eklemesi ve güvenli toplama protokolleri ile birleştirmek gizlilik garantilerini önemli ölçüde güçlendirir, ancak her katman kendi doğruluk veya iletişim ödünleşimlerini ekler.
Federated Learning, istemciler arasındaki non-IID verileri nasıl ele alır?
Standart FedAvg, istemci veri dağılımları birbirinden keskin bir şekilde farklılaştığında – istemci kayması olarak adlandırılan bir olgu – sapabilir. Çözümler arasında yerel yığın boyutlarını artırmak, yerel epokları azaltmak, kişiselleştirilmiş federated learning varyantları (FedProx veya SCAFFOLD gibi) uygulamak veya sunucu tarafı momentum kullanmak yer alır. Ciddiyeti, istemciler arasındaki istatistiksel heterojenliğin derecesine bağlıdır.
Yakınsama için tipik olarak kaç istemci ve tur gereklidir?
McMahan ve diğerleri, her turda örneklenen küçük bir istemci kesriyle bile (örneğin, 100'den 10'u), FedAvg'ın standart görevler için on ila yüz tur içinde yakınsadığını gösterdi. Pratikte sayı, istemci başına veri kümesi boyutuna, non-IID'nin derecesine, öğrenme oranına ve toplama öncesinde gerçekleştirilen yerel gradyan adımlarının sayısına bağlıdır.
İlgili yöntemler
Kaynaklar
McMahan, B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Artificial Intelligence and Statistics, 1273–1282.
Yayın kaynağını açKopyalandı.