Skip to content
Kembali ke hasil pencarian

Pembelajaran Aktif Pembelajaran Federasi

Diperkenalkan oleh
Multiple authors (federated active learning emerged ~2020)
Tahun
2020s
Jenis
Hybrid paradigm (active querying within distributed training)
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Pembelajaran Aktif Federasi menggabungkan efisiensi anotasi pembelajaran aktif dengan desentralisasi pembelajaran federasi yang menjaga privasi.

Model global bersama dilatih di seluruh klien terdistribusi, yang masing-masing secara independen memberi peringkat data lokalnya yang tidak berlabel dan hanya meminta label untuk contoh yang paling informatif, sambil menyimpan data mentah di perangkat.

Intuisi di balik metode

Dalam pembelajaran federasi standar, setiap klien berlatih pada data berlabel apa pun yang sudah dimilikinya, sementara dalam pembelajaran aktif, oracle pusat memilih contoh mana yang akan diberi label selanjutnya. Pembelajaran Aktif Federasi menggabungkan kedua ide tersebut: setiap klien menilai kumpulan datanya yang tidak berlabel secara lokal, memilih sampel di mana model paling tidak pasti, dan hanya mengirimkan sampel tersebut ke pelabel. Tidak ada data mentah yang meninggalkan klien. Server global kemudian mengagregasi model yang diperbarui secara lokal seperti dalam pembelajaran federasi standar, sehingga model global meningkat dari label baru yang paling informatif tanpa pernah mengumpulkan data yang mendasarinya secara terpusat.

Sejarah

Pembelajaran federasi diformalkan oleh McMahan et al. pada tahun 2017 dengan algoritma FedAvg, memungkinkan pelatihan model terdesentralisasi yang menjaga privasi. Pembelajaran aktif berakar pada literatur query-by-committee dan uncertainty sampling tahun 1990-an. Kombinasi keduanya — Pembelajaran Aktif Federasi — muncul sebagai topik penelitian aktif pada awal tahun 2020-an, didorong oleh kebutuhan untuk mengurangi biaya pelabelan dalam aplikasi kesehatan, seluler, dan IoT di mana data tidak dapat dipusatkan. Banyak kelompok secara independen mengusulkan kerangka kerja yang menggabungkan estimasi ketidakpastian lokal dengan agregasi federasi, dan area tersebut tetap menjadi batas penelitian terbuka.

Kapan digunakan

Gunakan Pembelajaran Aktif Federasi ketika data berlabel langka di seluruh klien terdistribusi, pelabelan mahal atau memerlukan keahlian domain, dan data mentah harus tetap berada di perangkat karena alasan privasi, peraturan, atau bandwidth — misalnya, catatan medis di seluruh rumah sakit, data pengguna di perangkat seluler, atau aliran sensor IoT. Ini sangat kuat ketika distribusi data klien heterogen (non-IID) dan anggaran anotasi kecil. Jangan gunakan ketika semua data dapat dipusatkan secara bebas (pembelajaran aktif biasa sudah cukup), ketika klien kekurangan komputasi untuk menilai kumpulan datanya sendiri, ketika kebisingan label tinggi (sampling ketidakpastian dapat mengeksploitasi label yang bising), atau ketika latensi antara putaran pelabelan merupakan kendala yang mengikat.

Batasan dan pertimbangan

  • Beban komunikasi per putaran dikalikan dengan jumlah klien yang melaporkan pemilihan kueri.
  • Distribusi klien non-IID dapat menyebabkan pemilihan pembelajaran aktif bias terhadap minimum lokal dari kerugian global.
  • Sinkronisasi putaran anotasi di seluruh klien terdistribusi menimbulkan latensi dan kompleksitas koordinasi.
  • Mengevaluasi kinerja model lebih sulit tanpa set pengujian berlabel terpusat.
  • Alokasi anggaran anotasi antar klien memerlukan penyesuaian yang cermat untuk menghindari kelaparan klien kecil atau minoritas.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menjaga privasi data dengan menyimpan sampel mentah di perangkat dan hanya berbagi pembaruan model.
  • Secara dramatis mengurangi biaya pelabelan dengan hanya meminta sampel yang paling informatif per putaran.
  • Menangani distribusi klien heterogen yang akan menyesatkan pembelajar aktif terpusat.
  • Skala secara horizontal — lebih banyak klien biasanya meningkatkan cakupan ruang yang tidak berlabel.
  • Kompatibel dengan privasi diferensial dan agregasi aman untuk jaminan privasi yang lebih kuat.

Penerapan

  • Anotasi pencitraan medis di seluruh rumah sakit di mana data pasien tidak dapat dibagikan.
  • Personalisasi di perangkat untuk keyboard seluler atau pengenalan suara dengan pelabelan pengguna minimal.
  • Deteksi anomali IoT industri di mana data sensor harus tetap berada di node tepi.
  • Pemantauan uji klinis terdistribusi yang memerlukan pembaruan model federasi yang menjaga privasi.
  • Penyempurnaan NLP lintas silo di seluruh organisasi dengan korpus berpemilik.
  • Klasifikasi penginderaan jarak jauh di mana citra satelit disimpan di pusat data yang terdistribusi secara geografis.

Cara kerjanya

Cara kerjanya

1

Model global diinisialisasi dan disiarkan ke semua klien yang berpartisipasi. Ini bisa berupa model yang diinisialisasi secara acak atau checkpoint yang telah dilatih sebelumnya, dan ini mendefinisikan titik awal bersama untuk putaran tersebut.

2

Setiap klien menerapkan model global saat ini ke kumpulan data lokalnya yang tidak berlabel dan menghitung skor informativitas untuk setiap sampel — misalnya, entropi prediksi, sampling margin, atau ketidaksepakatan query-by-committee — tanpa mengirimkan data.

3

Berdasarkan skor informativitas, setiap klien memilih sejumlah contoh yang tidak berlabel yang paling tidak pasti atau paling representatif untuk dianotasi. Strategi pemilihan menyeimbangkan eksplorasi dengan anggaran anotasi yang tersedia per putaran.

4

Contoh yang dipilih (atau hanya pengidentifikasi dan fitur yang diperlukan untuk pelabelan) dikirim ke oracle manusia atau pelabel otomatis. Label dikembalikan ke klien. Ini adalah satu-satunya langkah di mana data apa pun dapat meninggalkan perangkat, dan dalam penerapan yang sensitif terhadap privasi, hanya oracle yang menerimanya.

5

Setiap klien menyempurnakan model global pada contoh yang baru diberi label — dan secara opsional pada set berlabel yang ada — menggunakan SGD lokal standar atau optimasi Adam untuk sejumlah epoch lokal yang tetap.

6

Klien mengunggah pembaruan model mereka (gradien atau delta bobot, bukan data) ke server. Server mengagregasi pembaruan ini, biasanya melalui FedAvg (rata-rata tertimbang), untuk membentuk model global yang diperbarui, yang kemudian disiarkan untuk memulai putaran berikutnya.

Kesalahan umum

  • Menerapkan fungsi akuisisi pembelajaran aktif terpusat secara langsung tanpa memperhitungkan pergeseran distribusi antar klien — perkiraan ketidakpastian lokal mungkin tidak mencerminkan ketidakpastian model global.
  • Mengabaikan biaya komunikasi saat merancang anggaran kueri: meminta label untuk terlalu banyak sampel per klien per putaran dapat membebani pipeline anotasi.
  • Memperlakukan model global sebagai konvergen setelah terlalu sedikit putaran federasi sebelum melakukan kueri, yang mengarah pada skor ketidakpastian yang kurang terkalibrasi.
  • Mengabaikan klien yang lambat — klien yang lambat atau tersedia secara intermiten — yang dapat membiaskan agregasi terhadap distribusi klien yang lebih cepat.
  • Mengasumsikan data klien IID saat menerapkan agregasi FedAvg, menyebabkan divergensi ketika distribusi klien sangat heterogen.

Pertanyaan yang sering diajukan

Bagaimana Pembelajaran Aktif Federasi berbeda dari Pembelajaran Federasi standar?

Pembelajaran Federasi Standar hanya berlatih pada data berlabel yang sudah dimiliki klien. Pembelajaran Aktif Federasi menambahkan langkah kueri aktif: setiap klien menilai kumpulan datanya yang tidak berlabel dan memilih contoh yang paling informatif untuk dianotasi, memungkinkan model global untuk meningkat dengan label yang jauh lebih sedikit secara keseluruhan.

Fungsi akuisisi mana yang harus saya gunakan untuk penilaian lokal?

Sampling entropi (memilih contoh dengan entropi prediksi tertinggi) adalah titik awal yang paling umum dan bekerja dengan baik ketika model lokal cukup terkalibrasi. Sampling margin dan BALD (Bayesian Active Learning by Disagreement) adalah alternatif yang baik ketika kalibrasi ketidakpastian di seluruh federasi menjadi perhatian.

Bisakah Pembelajaran Aktif Federasi digabungkan dengan privasi diferensial?

Ya. Mekanisme privasi diferensial seperti DP-SGD dapat diterapkan selama pelatihan lokal, dan agregasi aman dapat digunakan di sisi server. Anggaran privasi harus memperhitungkan pembaruan model dan metadata apa pun tentang sampel mana yang dipilih untuk dikueri.

Apa yang terjadi ketika klien memiliki jumlah data tidak berlabel yang sangat berbeda?

Klien dengan kumpulan data tidak berlabel yang besar akan mendominasi anggaran kueri jika masing-masing menerima kuota absolut yang sama. Alokasi anggaran proporsional atau adaptif — menskalakan anggaran anotasi setiap klien berdasarkan ukuran atau informativitas perkiraan kumpulan datanya — mengurangi ketidakseimbangan ini.

Berapa banyak putaran federasi yang biasanya diperlukan sebelum kueri aktif membantu?

Tergantung pada kualitas model awal. Memulai dengan setidaknya beberapa putaran pelatihan federasi standar dengan data berlabel yang tersedia meningkatkan kalibrasi perkiraan ketidakpastian sebelum mengaktifkan kueri aktif. Kueri awal dingin dengan model awal acak dapat membuang anggaran anotasi pada sampel yang tidak informatif.

Metode terkait

Sumber

  1. Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).

    Buka referensi publikasi
    Disalin.
  2. Federated learning. Wikipedia.

    Buka referensi publikasi
    Disalin.