Skip to content
Kembali ke hasil pencarian

Pembelajaran Mandiri Terawasi

Diperkenalkan oleh
LeCun, Y. and community (formalized ~2018–2020)
Tahun
2018–2020
Jenis
Representation learning paradigm
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Pembelajaran mandiri terawasi (Self-supervised learning, SSL) adalah paradigma pembelajaran mesin yang menghasilkan sinyal pengawasnya sendiri secara langsung dari data tak berlabel dengan mendefinisikan tugas pendahuluan (pretext task) tambahan — seperti memprediksi kata yang disamarkan, memutar gambar, atau membandingkan tampilan yang diperkaya — dan menggunakan representasi yang dipelajari sebagai titik awal yang kuat untuk tugas hilir (downstream task) dengan contoh berlabel minimal.

Intuisi di balik metode

Sebagian besar data dunia nyata tidak berlabel. Pembelajaran mandiri terawasi mengubah kelimpahan ini menjadi sumber daya pelatihan dengan menciptakan tantangan yang harus dipecahkan oleh model hanya dengan menggunakan data itu sendiri — misalnya, menyembunyikan sebagian kalimat dan meminta model untuk memprediksinya. Menyelesaikan tantangan tersebut memaksa model untuk membangun representasi internal yang kaya. Setelah representasi cukup baik, hanya sejumlah kecil data berlabel yang diperlukan untuk mengadaptasi model ke tugas tertentu, yang secara dramatis mengurangi biaya anotasi.

Sejarah

Konsep belajar dari data tak berlabel melalui tugas proksi sudah ada sebelum pembelajaran mendalam (deep learning), tetapi pembelajaran mandiri terawasi sebagai paradigma bernama menjadi menonjol sekitar tahun 2018–2020 dengan BERT (Devlin et al., 2018) dalam NLP dan MoCo / SimCLR dalam visi komputer. Yann LeCun mengadvokasi istilah dan visi tersebut, menggambarkannya sebagai 'materi gelap kecerdasan' pada tahun 2022. Saat ini, hal ini mendasari hampir semua model bahasa besar dan model dasar visi.

Kapan digunakan

Pilih pembelajaran mandiri terawasi ketika Anda memiliki korpus data tak berlabel yang besar di domain target Anda tetapi pelabelan mahal atau lambat — umum dalam pencitraan medis, NLP, citra satelit, dan data ilmiah. Ini adalah pendekatan standar ketika membangun model dasar skala besar (BERT, GPT, DINO) atau ketika kumpulan data berlabel hilir kecil. Hindari SSL ketika korpus tak berlabel terlalu kecil (di bawah beberapa ribu contoh), tugas pendahuluan tidak sesuai dengan tugas hilir, atau sumber daya komputasi sangat terbatas — dalam kasus tersebut, pembelajaran terawasi pada label yang tersedia atau pembelajaran transfer tradisional dari pos pemeriksaan publik lebih praktis.

Batasan dan pertimbangan

  • Pra-pelatihan model besar membutuhkan komputasi yang substansial (GPU/TPU selama berhari-hari hingga berminggu-minggu) dan korpus tak berlabel yang besar.
  • Desain tugas pendahuluan tidak sepele; tugas yang dipilih dengan buruk dapat menghasilkan representasi yang tidak ditransfer dengan baik.
  • Stabilitas penyesuaian dapat sensitif terhadap laju pembelajaran dan jumlah lapisan yang tidak dibekukan.
  • Evaluasi bersifat tidak langsung: kinerja tugas pendahuluan tidak menjamin kinerja tugas hilir.
  • Kesenjangan domain antara korpus pra-pelatihan dan domain target dapat membatasi peningkatan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memanfaatkan sejumlah besar data tak berlabel, menjadikannya pendekatan paling terukur untuk pra-pelatihan korpus besar.
  • Menghasilkan representasi tujuan umum yang ditransfer dengan baik ke banyak tugas hilir dengan sedikit data penyesuaian.
  • Secara dramatis mengurangi biaya anotasi dengan menghasilkan pengawasan dari struktur data daripada label manusia.
  • Model dasar mutakhir (BERT, GPT, DINO, MAE) semuanya dibangun di atas tujuan mandiri terawasi.
  • Secara alami menangani data multimodal dengan merancang tugas pendahuluan lintas-modal (misalnya, CLIP).
  • Menghasilkan embedding yang kaya yang berguna untuk pengambilan, pengelompokan, dan deteksi anomali tanpa penyesuaian apa pun.

Penerapan

  • Pra-pelatihan model bahasa besar (BERT, GPT, T5) untuk tugas NLP seperti klasifikasi dan tanya jawab.
  • Model dasar visi (DINO, MAE, SimCLR) untuk pengenalan gambar, segmentasi, dan pengambilan.
  • Analisis citra medis di mana pemindaian berlabel langka tetapi gambar tak berlabel berlimpah.
  • Pembelajaran representasi ucapan dan audio (wav2vec, HuBERT) untuk ASR dan verifikasi pembicara.
  • Pembelajaran representasi molekuler dan protein (ChemBERTa, ESM) untuk penemuan obat.
  • Deteksi anomali dan pengambilan melalui kesamaan embedding tanpa anomali berlabel.

Cara kerjanya

Cara kerjanya

1

Tugas pendahuluan (tambahan) dirancang sedemikian rupa sehingga labelnya berasal dari struktur data itu sendiri — misalnya, prediksi token yang disamarkan dalam teks (BERT), prediksi bingkai berikutnya dalam video, atau memaksimalkan kesamaan antara tampilan yang diperkaya secara berbeda dari gambar yang sama (SimCLR, MoCo). Tidak diperlukan anotasi manusia untuk tahap ini.

2

Sebuah pengkode (encoder) saraf memetakan setiap masukan x ke dalam representasi padat z = f(x; theta). Arsitektur pengkode bervariasi berdasarkan modalitas: Transformer untuk teks dan visi, jaringan konvolusional untuk audio, atau jaringan saraf graf untuk data molekuler. Representasi ini yang membawa pengetahuan ke tugas hilir.

Rumus
z = f_{\theta}(x)
3

Model dilatih untuk meminimalkan kerugian (loss) yang mengukur seberapa baik model memecahkan tugas pendahuluan — entropi silang (cross-entropy) untuk prediksi yang disamarkan, kerugian kontrasif (contrastive loss, InfoNCE) untuk kesepakatan tampilan, atau kesalahan rekonstruksi untuk autoencoder. Meminimalkan kerugian ini membentuk representasi untuk menangkap struktur semantik yang berguna.

4

Setelah pra-pelatihan (pre-training) konvergen, bobot pengkode ditransfer ke tugas hilir. Kepala klasifikasi atau regresi yang ringan dilampirkan dan seluruh model (atau hanya kepala) disesuaikan (fine-tuned) pada kumpulan data berlabel kecil, mencapai akurasi yang sebanding dengan model yang sepenuhnya terawasi yang dilatih pada data berlabel yang jauh lebih banyak.

Kesalahan umum

  • Memilih tugas pendahuluan tanpa penalaran tentang keselarasan dengan semantik tugas hilir.
  • Menggunakan korpus tak berlabel yang terlalu kecil atau tidak mewakili domain target, menghasilkan representasi yang buruk.
  • Menyesuaikan semua lapisan dengan laju pembelajaran yang tinggi dan secara katastropik melupakan representasi yang telah dilatih sebelumnya.
  • Melaporkan hanya akurasi hilir setelah penyesuaian tanpa mengabstraksi nilai pra-pelatihan versus pengawasan langsung.
  • Mengabaikan desain augmentasi data dalam metode kontrasif, yang sangat penting untuk kualitas representasi.

Pertanyaan yang sering diajukan

Apa perbedaan antara pembelajaran mandiri terawasi dan pembelajaran tanpa pengawasan?

Keduanya menggunakan data tak berlabel, tetapi pembelajaran mandiri terawasi membangun sinyal pengawasan spesifik dari struktur data (misalnya, token yang disamarkan, tampilan yang diperkaya) dan melatih dengan fungsi kerugian yang ditentukan. Pembelajaran tanpa pengawasan klasik (clustering, PCA) malah menemukan struktur tanpa tujuan prediksi eksplisit.

Apakah saya perlu melakukan pra-pelatihan dari awal atau bisakah saya menggunakan pos pemeriksaan yang ada?

Untuk sebagian besar proyek terapan, menyesuaikan pos pemeriksaan yang tersedia untuk umum (misalnya, BERT dari Hugging Face, DINO dari Meta) jauh lebih praktis daripada pra-pelatihan dari awal. Pra-pelatihan dari awal hanya dibenarkan ketika domain Anda sangat terspesialisasi (misalnya, teks klinis) dan pos pemeriksaan yang ada ditransfer dengan buruk.

Berapa banyak data tak berlabel yang dibutuhkan?

Semakin banyak semakin baik untuk pra-pelatihan, tetapi SSL khusus domain yang efektif telah didemonstrasikan dengan puluhan ribu contoh tak berlabel untuk model yang lebih kecil. Ambang batas sangat bergantung pada ukuran model dan kompleksitas tugas pendahuluan.

Apa itu tugas pendahuluan kontrasif?

Tugas pendahuluan kontrasif (SimCLR, MoCo) membuat dua tampilan yang diperkaya secara berbeda dari sampel yang sama dan melatih pengkode sehingga tampilan tersebut serupa dalam ruang representasi sambil berbeda dari representasi sampel lain. Ini mengajarkan model untuk tidak terpengaruh oleh augmentasi sambil mempertahankan konten semantik.

Apakah pembelajaran mandiri terawasi cocok untuk data tabular?

Ya, meskipun peningkatannya lebih kecil daripada untuk gambar atau teks. Pendekatan seperti SCARF, pra-pelatihan TabNet, dan prediksi fitur yang disamarkan telah menunjukkan manfaat ketika data tabular berlabel langka, tetapi untuk kumpulan data tabular biasa dengan ketersediaan label yang memadai, metode ensemble terawasi masih mendominasi.

Metode terkait

Sumber

  1. LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/

    Buka referensi publikasi
    Disalin.
  2. Self-supervised learning. Wikipedia.

    Buka referensi publikasi
    Disalin.