Skip to content
Kembali ke hasil pencarian

Distilasi Pengetahuan

Diperkenalkan oleh
Hinton, G., Vinyals, O. & Dean, J.
Tahun
2015
Jenis
Neural network compression (teacher–student)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Distilasi Pengetahuan adalah teknik kompresi model, yang diperkenalkan oleh Geoffrey Hinton dan rekan-rekannya pada tahun 2015, yang melatih model siswa kecil menggunakan keluaran label lunak dari model guru besar.

Model yang didistilasi seperti DistilBERT dan TinyBERT mencapai sekitar 97% kinerja model yang lebih besar sambil berjalan jauh lebih cepat.

Intuisi di balik metode

Model yang besar dan akurat seringkali terlalu lambat atau berat untuk diterapkan. Alih-alih melatih model kecil dari awal hanya dengan label keras, Anda membiarkannya belajar dari keluaran probabilitas yang kaya dari model besar: distribusi penuh guru di seluruh kelas membawa lebih banyak informasi daripada satu jawaban yang benar, mengungkapkan kelas mana yang terlihat serupa dan seberapa yakin guru tersebut. Siswa menyerap 'pengetahuan gelap' ini dan akhirnya jauh lebih kecil namun hampir sama mampunya.

Sejarah

Distilasi Pengetahuan diperkenalkan oleh Geoffrey Hinton, Oriol Vinyals, dan Jeff Dean dalam makalah Lokakarya Pembelajaran Mendalam NeurIPS tahun 2015, yang membingkai kompresi model besar menjadi model kecil dengan mencocokkan keluaran lunak model yang lebih besar. Ini menjadi alat standar untuk menerapkan model dalam yang ringkas; DistilBERT Sanh dan rekan-rekannya tahun 2019 menunjukkan versi terdistilasi dari BERT yang lebih kecil, lebih cepat, lebih murah, dan lebih ringan sambil mempertahankan sebagian besar akurasi aslinya.

Kapan digunakan

Gunakan ketika Anda memiliki model guru terlatih yang kuat tetapi berat dan menginginkan siswa yang lebih kecil dan lebih cepat untuk penerapan pada tugas teks atau fitur kontinu, dengan setidaknya sekitar 100 observasi spesifik tugas. Ini mengasumsikan model guru sudah dilatih dan tersedia dan bahwa kumpulan data spesifik tugas sudah siap. Di bawah sekitar 500 observasi siswa tidak dapat mendistilasi cukup dari guru dan overfitting menjadi risiko; di bawah sekitar 100, distilasi tidak ada gunanya dan pembelajaran mesin klasik adalah pilihan yang lebih aman.

Batasan dan pertimbangan

  • Memerlukan model guru yang sudah dilatih dan tersedia — distilasi tidak dapat dimulai tanpanya.
  • Membutuhkan kumpulan data spesifik tugas; dengan data yang terlalu sedikit siswa belajar sedikit dari guru.
  • Pada kumpulan data kecil (n di bawah sekitar 500) siswa mengalami overfitting dan gagal menyerap pengetahuan guru.
  • Menambahkan beban penyetelan dan alur kerja pelatihan (suhu, bobot pencampuran) di atas model asli.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menghasilkan model yang jauh lebih kecil dan lebih cepat yang dapat memulihkan sekitar 97% kinerja guru.
  • Label lunak guru membawa informasi yang lebih kaya daripada label keras, meningkatkan generalisasi siswa.
  • Ringan asumsi: tidak memerlukan data yang terdistribusi normal.
  • Menggunakan kembali guru terlatih yang ada, sehingga cocok untuk penerapan dan penyajian di mana kecepatan dan ukuran penting.

Penerapan

  • Mengompresi model bahasa besar menjadi siswa yang dapat diterapkan seperti DistilBERT dan TinyBERT.
  • Mempercepat inferensi untuk klasifikasi dan prediksi teks di mana guru penuh terlalu lambat.
  • Menyusutkan model untuk lingkungan penyajian yang terbatas sumber daya atau sensitif terhadap latensi.
  • Mentransfer kemampuan model berat ke model ringan tanpa melatih ulang dari awal.

Cara kerjanya

Cara kerjanya

1

Model guru yang besar dan terlatih dengan baik dianggap sudah ada — model tersebut harus sudah dilatih dan tersedia. Guru ini memiliki kekuatan prediktif yang ingin Anda pertahankan tetapi terlalu mahal untuk dijalankan dalam skala besar.

2

Guru menghasilkan keluaran label lunak: distribusi probabilitas penuh di seluruh kelas daripada satu label keras. Prediksi yang dilunakkan ini mengekspos kesamaan yang dilihat guru antar kelas, memberikan sinyal pelatihan yang jauh lebih kaya daripada label kebenaran dasar saja.

3

Model siswa kecil dilatih untuk mencocokkan label sebenarnya dan keluaran lunak guru sekaligus. Kerugian distilasi menggabungkan suku entropi silang standar pada label keras dengan suku divergensi Kullback–Leibler yang menarik logit siswa ke arah guru, dibobot oleh faktor pencampuran alfa. Hasilnya adalah siswa ringkas yang mempertahankan sebagian besar akurasi guru.

Rumus
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)

Kesalahan umum

  • Mencoba distilasi tanpa guru yang terlatih dengan benar untuk disalin.
  • Menjalankannya pada kumpulan data tugas yang sangat kecil di mana pembelajaran mesin klasik akan lebih baik.
  • Mengabaikan bobot pencampuran alfa antara suku kerugian label keras dan label lunak.
  • Mengharapkan siswa untuk sepenuhnya mencocokkan guru daripada mendekatinya.

Pertanyaan yang sering diajukan

Mengapa menggunakan label lunak alih-alih hanya jawaban yang benar?

Distribusi probabilitas penuh guru mengungkapkan seberapa mirip kelas terlihat baginya dan seberapa yakin dia. Sinyal tambahan ini — terkadang disebut pengetahuan gelap — membantu siswa menggeneralisasi lebih baik daripada label keras saja.

Seberapa kecil siswa bisa menjadi?

Model yang didistilasi seperti DistilBERT dan TinyBERT secara substansial lebih kecil dan lebih cepat daripada guru mereka sambil mencapai sekitar 97% kinerja guru, meskipun pertukaran yang tepat bergantung pada tugas dan arsitektur.

Apa yang saya butuhkan sebelum melakukan distilasi?

Anda memerlukan model guru yang sudah dilatih dan tersedia, ditambah kumpulan data spesifik tugas. Dengan kurang dari sekitar 500 observasi siswa kesulitan untuk mendistilasi cukup dari guru dan mungkin mengalami overfitting.

Apa itu alfa dalam kerugian?

Alfa mencampur dua bagian dari kerugian distilasi: suku entropi silang pada label sebenarnya dan suku divergensi Kullback–Leibler yang menyelaraskan keluaran siswa dengan guru. Menyetelkannya menyeimbangkan pembelajaran dari kebenaran dasar versus pembelajaran dari guru.

Metode terkait

Sumber

  1. Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.

    Buka referensi publikasi
    Disalin.
  2. Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.

    Buka referensi publikasi
    Disalin.