Pembelajaran Federasi
- Diperkenalkan oleh
- McMahan et al.
- Tahun
- 2017
- Jenis
- Distributed privacy-preserving machine learning
- Keluarga
- Privacy-preserving analysis
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pembelajaran Federasi adalah paradigma pembelajaran mesin terdistribusi yang diperkenalkan oleh McMahan dkk. pada tahun 2017 di mana model global dilatih secara kolaboratif di berbagai klien terdesentralisasi — seperti perangkat seluler atau sistem rumah sakit — tanpa pernah mentransfer data mentah ke server pusat.
Setiap peserta menghitung pembaruan model secara lokal menggunakan data pribadinya; hanya pembaruan tersebut, bukan data yang mendasarinya, yang dikomunikasikan dan diagregasi oleh server untuk meningkatkan model bersama.
Intuisi di balik metode
Bayangkan sekelompok peneliti di berbagai rumah sakit masing-masing mempelajari catatan pasien yang tidak dapat mereka bagikan karena undang-undang privasi. Alih-alih mengumpulkan catatan ke dalam satu basis data, setiap rumah sakit melatih versi lokal model pada pasiennya sendiri, kemudian mengirimkan hanya ringkasan dari apa yang dipelajarinya — bukan catatan itu sendiri — kepada koordinator yang menggabungkan semua ringkasan menjadi satu model yang ditingkatkan. Tidak ada data pasien yang pernah meninggalkan institusi sumbernya, namun kecerdasan kolektif dari setiap rumah sakit tertangkap.
Sejarah
Istilah dan kerangka kerja diperkenalkan oleh McMahan dkk. di Google pada tahun 2017, dimotivasi oleh kebutuhan untuk melatih model bahasa pada perangkat seluler tanpa mengunggah teks sensitif. Algoritma FedAvg dasar menunjukkan bahwa merata-ratakan bobot yang dilatih secara lokal efisien dalam komunikasi dan kompetitif dengan pelatihan terpusat. Penelitian selanjutnya memperluas pembelajaran federasi untuk menangani data non-IID, menambahkan jaminan privasi diferensial formal, menggabungkan komputasi multi-pihak yang aman untuk agregasi, dan menerapkan paradigma ke pengaturan lintas silo seperti jaringan rumah sakit.
Kapan digunakan
Gunakan Pembelajaran Federasi ketika data pelatihan didistribusikan di banyak klien dan tidak dapat dipusatkan karena peraturan privasi, kendala kepemilikan data, atau biaya komunikasi — misalnya, keyboard seluler, pencitraan medis di berbagai rumah sakit, atau jaringan sensor IoT. Asumsi utama meliputi data lokal yang cukup per klien dan tugas bersama di semua peserta. Ini kurang cocok ketika distribusi data klien sangat heterogen (non-IID), bandwidth komunikasi sangat terbatas, atau ketika jaminan privasi formal yang kuat di luar lokalitas data diperlukan (pertimbangkan untuk menggabungkan dengan privasi diferensial dalam kasus tersebut).
Batasan dan pertimbangan
- Konvergensi bisa lambat dan tidak stabil ketika distribusi data klien sangat non-IID.
- Beban komunikasi di banyak putaran bisa signifikan pada jaringan bandwidth rendah.
- Pembaruan model masih dapat membocorkan informasi tentang data lokal melalui serangan inversi gradien atau inferensi keanggotaan.
- Klien yang tertinggal dan terputus mempersulit agregasi sinkron dan dapat membiaskan model global.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mempertahankan privasi data berdasarkan desain: data mentah tidak pernah meninggalkan perangkat atau institusi klien.
- Menskalakan ke jutaan perangkat tepi yang heterogen tanpa memusatkan penyimpanan.
- Mengurangi biaya transfer data karena hanya pembaruan model, bukan kumpulan data, yang dikomunikasikan.
- Memungkinkan pembelajaran dari domain sensitif (perawatan kesehatan, keuangan) di mana berbagi data dibatasi secara hukum.
Penerapan
- Prediksi kata berikutnya dan personalisasi keyboard pada perangkat seluler tanpa mengunggah teks pengguna.
- Pelatihan model pencitraan medis di berbagai rumah sakit yang tidak dapat berbagi catatan pasien.
- Deteksi penipuan di berbagai bank yang berbagi pola perilaku tetapi tidak riwayat transaksi.
- Model persepsi kendaraan otonom yang dilatih di seluruh armada tanpa memusatkan log sensor.
- Pemantauan kesehatan perangkat yang dapat dikenakan yang mempelajari baseline pribadi sambil menjaga data biometrik tetap di perangkat.
Cara kerjanya
Cara kerjanya
Pada awal setiap putaran komunikasi, server memilih subset acak dari klien yang tersedia dan mengirimkan bobot model global saat ini kepada mereka. Siaran ini memastikan bahwa semua klien yang berpartisipasi memulai komputasi lokal dari titik awal yang sama, memungkinkan agregasi yang koheren di kemudian hari. Memilih hanya subset daripada semua klien membuat setiap putaran dapat dikelola bahkan ketika ribuan perangkat terdaftar.
Rumus
w_t \rightarrow \text{subset } S_t \subset \{1,\ldots,N\}Setiap klien yang dipilih menjalankan satu atau lebih langkah penurunan gradien stokastik pada kumpulan data lokal pribadinya menggunakan bobot global yang diterima sebagai titik awal. Klien menghitung gradien dari fungsi kerugian lokalnya dan memperbarui bobot sesuai dengan itu. Hanya bobot yang diperbarui ini — bukan gradien mentah atau data pelatihan — yang disiapkan untuk transmisi kembali ke server.
Rumus
w_{t+1}^k = w_t - \eta \nabla \mathcal{L}_k(w_t)Server mengumpulkan bobot yang diperbarui dari semua klien yang berpartisipasi dan menghitung rata-rata tertimbang, di mana kontribusi setiap klien sebanding dengan ukuran kumpulan data lokalnya relatif terhadap total data di semua peserta. Langkah Federated Averaging (FedAvg) ini menghasilkan model global baru yang menggabungkan informasi dari data pribadi setiap klien tanpa ada data mentah yang meninggalkan perangkat.
Rumus
w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n} w_{t+1}^kModel global yang diagregasi dievaluasi terhadap kriteria konvergensi, biasanya batas pada kerugian yang diharapkan relatif terhadap kerugian optimal. Jika kriteria belum terpenuhi, server menambah penghitung putaran dan menyiarkan model global yang diperbarui ke subset klien baru, mengulangi siklus sampai model konvergen atau jumlah maksimum putaran tercapai.
Rumus
\mathbb{E}[\mathcal{L}(w_T)] \leq \mathcal{L}^* + \epsilonKesalahan umum
- Mengasumsikan pelatihan federasi saja sudah cukup untuk privasi: tanpa mekanisme tambahan seperti privasi diferensial atau agregasi aman, pembaruan model tetap rentan.
- Mengabaikan heterogenitas data: menerapkan FedAvg standar pada data yang sangat non-IID sering kali menyebabkan penyimpangan klien dan kinerja model global yang buruk.
- Mengabaikan klien Byzantine atau jahat: sebagian kecil peserta adversarial dapat merusak model yang diagregasi jika agregasi yang kuat tidak diterapkan.
- Memperlakukan putaran komunikasi sebagai gratis: biaya kumulatif dari banyak putaran melalui tautan yang lambat dapat melebihi manfaat desentralisasi.
Pertanyaan yang sering diajukan
Apakah Pembelajaran Federasi menjamin privasi lengkap?
Tidak dengan sendirinya. Meskipun data mentah tidak pernah meninggalkan perangkat klien, pembaruan model (gradien) masih dapat membocorkan informasi melalui serangan inversi gradien atau inferensi keanggotaan. Menggabungkan pembelajaran federasi dengan penambahan derau privasi diferensial dan protokol agregasi aman secara substansial memperkuat jaminan privasi, tetapi setiap lapisan menambah trade-off akurasi atau komunikasinya sendiri.
Bagaimana Pembelajaran Federasi menangani data non-IID di seluruh klien?
FedAvg standar dapat menyimpang ketika distribusi data klien sangat berbeda satu sama lain — fenomena yang disebut penyimpangan klien. Perbaikan termasuk meningkatkan ukuran batch lokal, mengurangi epoch lokal, menerapkan varian pembelajaran federasi yang dipersonalisasi (seperti FedProx atau SCAFFOLD), atau menggunakan momentum sisi server. Tingkat keparahannya tergantung pada tingkat heterogenitas statistik di seluruh klien.
Berapa banyak klien dan putaran yang biasanya dibutuhkan untuk konvergensi?
McMahan dkk. menunjukkan bahwa bahkan dengan sebagian kecil klien yang diambil per putaran (misalnya, 10 dari 100), FedAvg konvergen dalam puluhan hingga ratusan putaran untuk tugas standar. Dalam praktiknya, jumlahnya tergantung pada ukuran kumpulan data per klien, tingkat non-IID-ness, laju pembelajaran, dan jumlah langkah gradien lokal yang dilakukan sebelum setiap agregasi.
Metode terkait
Sumber
McMahan, B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Artificial Intelligence and Statistics, 1273–1282.
Buka referensi publikasiDisalin.