Campuran Pakar
- Diperkenalkan oleh
- Shazeer, N. et al.
- Tahun
- 2017
- Jenis
- Sparse neural network architecture (conditional computation)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Campuran Pakar (MoE) adalah arsitektur jaringan saraf yang jarang (sparse), diperkenalkan oleh Shazeer dan kolega pada tahun 2017 dengan lapisan MoE yang di-gate secara jarang (sparsely-gated), di mana hanya sebagian dari sub-jaringan pakar yang diaktifkan untuk setiap masukan.
Seperti yang terlihat pada model seperti Switch Transformer dan Mixtral, MoE menjaga biaya komputasi tetap konstan meskipun jumlah total parameter bertambah.
Intuisi di balik metode
Alih-alih menjalankan setiap masukan melalui satu jaringan besar, MoE menyimpan sekumpulan jaringan pakar yang terspesialisasi dan sebuah router yang memutuskan pakar mana saja yang harus dikonsultasikan oleh setiap masukan. Karena hanya segelintir pakar yang aktif per masukan, model dapat menyimpan jumlah parameter yang sangat besar sambil melakukan jumlah pekerjaan yang kira-kira sama per contoh — mirip dengan berkonsultasi hanya dengan dua spesialis yang relevan dengan suatu pertanyaan daripada seluruh rumah sakit.
Sejarah
Lapisan Campuran Pakar yang di-gate secara jarang (sparsely-gated Mixture-of-Experts layer) diperkenalkan oleh Shazeer dan kolega pada tahun 2017 dalam makalah 'Outrageously Large Neural Networks', yang menunjukkan bahwa komputasi bersyarat dapat meningkatkan kapasitas model secara eksponensial sambil menjaga komputasi tetap kira-kira konstan. Gagasan ini kemudian dibawa ke model bahasa transformer — terutama Switch Transformer dan, pada tahun 2024, Mixtral — menjadikan MoE sebagai rute standar untuk model yang sangat besar namun efisien.
Kapan digunakan
Gunakan MoE untuk prediksi atau klasifikasi skala besar pada data teks dan fitur kontinu ketika Anda memiliki data yang cukup besar (sekitar 1.000 observasi atau lebih) dan infrastruktur pelatihan skala besar dengan kluster GPU. MoE mengasumsikan bahwa kerugian penyeimbang router diterapkan dan bahwa alur kerja pelatihan dapat mendukung gating yang jarang. Di bawah sekitar 1.000 contoh, router tidak dapat mempelajari pemilihan pakar yang seimbang dan pelatihan menjadi tidak stabil; di bawah sekitar 500 contoh, model mengalami overfitting dan model padat tunggal lebih disukai.
Batasan dan pertimbangan
- Membutuhkan infrastruktur pelatihan skala besar dan kluster GPU.
- Membutuhkan kerugian penyeimbang router; tanpanya, beban akan runtuh ke beberapa pakar.
- Pada data kecil (n di bawah sekitar 1.000), router tidak dapat menyeimbangkan pemilihan pakar dan pelatihan menjadi tidak stabil.
- Dengan data yang sangat sedikit (n di bawah sekitar 500), model mengalami overfitting dan model padat tunggal sudah cukup.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memisahkan kapasitas model dari komputasi per masukan — total parameter dapat bertambah sementara komputasi per contoh tetap konstan.
- Pakar berspesialisasi, memungkinkan satu arsitektur untuk mencakup masukan yang heterogen.
- Terbukti pada skala besar dalam sistem seperti Switch Transformer dan Mixtral.
- Perutean jarang K teratas menjaga biaya inferensi jauh di bawah model padat dengan jumlah parameter yang sama.
Penerapan
- Model bahasa besar yang meningkatkan jumlah parameter tanpa meningkatkan biaya inferensi (misalnya, Mixtral).
- Prediksi dan klasifikasi teks skala besar.
- Tugas prediksi pada fitur kontinu berdimensi tinggi di mana kapasitas harus tumbuh secara efisien.
- Arsitektur komputasi bersyarat yang mengarahkan masukan heterogen ke sub-jaringan yang terspesialisasi.
Cara kerjanya
Cara kerjanya
Lapisan ini menyimpan banyak sub-jaringan pakar paralel, masing-masing adalah jaringan feed-forward kecil. Para pakar dilatih untuk berspesialisasi, sehingga masukan yang berbeda akhirnya diarahkan ke pakar yang berbeda. Hanya pakar yang dipilih yang memproses masukan tertentu, itulah sebabnya kapasitas total dapat bertambah tanpa menambah komputasi per masukan.
Sebuah jaringan gating (router) menilai pakar untuk setiap masukan dan hanya menyimpan K teratas. Softmax atas skor K teratas tersebut menghasilkan bobot perutean. Selama pelatihan skala besar, kerugian penyeimbang router (router balancing loss) diterapkan sehingga beban tersebar di antara para pakar daripada runtuh ke beberapa pakar favorit.
Rumus
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))Keluaran dari pakar yang dipilih digabungkan sebagai jumlah tertimbang, menggunakan bobot gating sebagai koefisien. Kombinasi jarang ini yang menjaga komputasi tetap konstan sementara jumlah parameter — dan karenanya kapasitas model — meningkat.
Rumus
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)Kesalahan umum
- Mengabaikan kerugian penyeimbang router, sehingga beberapa pakar mendominasi dan sisanya tetap menganggur.
- Menerapkan MoE pada kumpulan data kecil di mana model padat tunggal akan terlatih lebih andal.
- Meremehkan jejak GPU dan infrastruktur yang diperlukan untuk pelatihan yang jarang.
- Memperlakukan jumlah pakar sebagai kapasitas bebas tanpa memperhitungkan ketidakstabilan perutean.
Pertanyaan yang sering diajukan
Mengapa MoE menambah parameter tanpa menambah komputasi?
Hanya K pakar teratas yang dipilih oleh router yang berjalan untuk setiap masukan, jadi meskipun lapisan menyimpan banyak pakar, setiap contoh hanya menyentuh beberapa. Kapasitas total berskala dengan jumlah pakar sementara komputasi per masukan tetap kira-kira konstan.
Apa fungsi kerugian penyeimbang router?
Jika dibiarkan sendiri, router cenderung mengirim sebagian besar masukan ke sejumlah kecil pakar, meninggalkan pakar lain tidak terlatih. Kerugian penyeimbang memberikan penalti pada beban yang tidak merata sehingga lalu lintas tersebar di antara para pakar dan kapasitas penuh benar-benar digunakan.
Berapa banyak data yang dibutuhkan MoE?
MoE ditujukan untuk pengaturan skala besar — kira-kira 1.000 contoh atau lebih. Di bawah itu, router tidak dapat mempelajari pemilihan pakar yang seimbang dan pelatihan menjadi tidak stabil; dengan di bawah sekitar 500 contoh, model padat tunggal mengalami overfitting lebih sedikit dan merupakan pilihan yang lebih aman.
Apakah saya memerlukan perangkat keras khusus?
Ya. MoE mengasumsikan infrastruktur pelatihan skala besar dan kluster GPU, karena banyak pakar dan perutean yang jarang dirancang untuk pelatihan terdistribusi dengan throughput tinggi.
Metode terkait
Sumber
Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538
Buka referensi publikasiDisalin.Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.
Buka referensi publikasiDisalin.