Pembelajaran Metrik
- Diperkenalkan oleh
- Xing, E. P.; Jordan, M. I.; Russell, S.; Ng, A. Y.
- Tahun
- 2003 (foundational); refined 2009 (LMNN)
- Jenis
- Representation learning / supervised distance optimization
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pembelajaran metrik adalah kerangka kerja pembelajaran mesin yang melatih fungsi jarak atau kesamaan dari data sehingga contoh yang secara semantik serupa berakhir berdekatan dalam ruang yang dipelajari sementara contoh yang tidak serupa didorong berjauhan.
Berbeda dengan jarak tetap seperti Euclidean, metrik yang dipelajari beradaptasi dengan struktur tugas, membuat pengklasifikasi, pengelompok, dan sistem pengambilan hilir secara signifikan lebih akurat.
Intuisi di balik metode
Jarak standar seperti Euclidean memperlakukan semua dimensi fitur secara setara. Namun, dalam banyak masalah, beberapa fitur jauh lebih informatif daripada yang lain, dan dimensi yang relevan bervariasi berdasarkan kelas. Pembelajaran metrik seperti melatih penggaris: dengan informasi tentang pasangan contoh mana yang seharusnya berdekatan dan mana yang seharusnya berjauhan, ia menyesuaikan geometri ruang fitur sehingga pengklasifikasi tetangga terdekat sederhana atau algoritma pengelompokan segera mendapatkan pengelompokan yang benar. Ruang yang dipelajari secara efektif menangkap apa arti 'serupa' untuk tugas tertentu.
Sejarah
Kerangka kerja modern didirikan oleh Xing et al. (2003), yang merumuskan pembelajaran metrik sebagai masalah optimasi cembung dengan kendala berpasangan. Weinberger dan Saul (2009) memperkenalkan Large Margin Nearest Neighbor (LMNN), menetapkan standar baru untuk tugas berbasis k-NN. Bidang ini dipercepat dengan pembelajaran metrik mendalam: Chopra et al. (2005) mempopulerkan jaringan Siamese dengan kerugian kontrastif, dan Schroff et al. (2015) memperkenalkan kerugian triplet FaceNet untuk verifikasi wajah skala besar. Saat ini, pembelajaran metrik mendasari sebagian besar pembelajaran sedikit contoh dan penelitian representasi visual.
Kapan digunakan
Gunakan pembelajaran metrik ketika tugas hilir pada dasarnya berbasis kesamaan — mis., klasifikasi sedikit contoh, verifikasi wajah, pengambilan gambar medis, identifikasi pembicara, atau rekomendasi produk — dan ketika jarak Euclidean tetap berkinerja buruk karena fitur memiliki relevansi yang tidak setara. Ini unggul dengan kumpulan data berlabel sedang hingga besar dan input berdimensi tinggi seperti gambar atau penyematan teks. Hindari ketika Anda memiliki sangat sedikit contoh berlabel per kelas (kurang dari sekitar 5–10 per kelas), ketika tujuan akhir adalah regresi atau klasifikasi tabular sederhana yang dilayani dengan baik oleh regresi logistik atau peningkatan gradien, atau ketika interpretasi dalam hal koefisien fitur eksplisit diperlukan.
Batasan dan pertimbangan
- Kerugian triplet dan kontrastif memerlukan penambangan pasangan/triplet yang cermat; pengambilan sampel acak menghasilkan sebagian besar pasangan yang mudah, tidak informatif dan memperlambat pelatihan secara drastis.
- Metode Mahalanobis linier diskalakan secara kuadratik dengan dimensi fitur, menjadi mahal dalam dimensi yang sangat tinggi tanpa pengurangan dimensi.
- Membutuhkan data berlabel atau kendala berpasangan; pengaturan yang sepenuhnya tanpa pengawasan membatasi apa yang dapat dipelajari tanpa asumsi tambahan.
- Evaluasi bersifat tidak langsung — kualitas metrik harus dinilai melalui tugas hilir, bukan satu nilai kerugian.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menyesuaikan geometri ruang fitur dengan tugas spesifik, secara substansial meningkatkan akurasi tetangga terdekat dan pengelompokan.
- Memungkinkan pengenalan sedikit contoh: setelah metrik yang baik dipelajari, mengklasifikasikan kelas baru hanya membutuhkan segelintir contoh.
- Mentransfer dengan baik antar domain — metrik yang dipelajari pada satu kumpulan data dapat disesuaikan untuk tugas terkait dengan sedikit data tambahan.
- Model-agnostik: penyematan yang dipelajari dapat memberi makan algoritma hilir apa pun (k-NN, SVM, k-means) tanpa melatih ulang komponen-komponen tersebut.
- Formulasi kontrastif dan triplet diskalakan ke kumpulan data yang sangat besar melalui pengambilan sampel mini-batch.
Penerapan
- Verifikasi dan pengenalan wajah: mempelajari apakah dua gambar wajah menunjukkan orang yang sama.
- Klasifikasi gambar sedikit contoh: mengklasifikasikan kategori visual baru dari satu atau beberapa contoh.
- Pengambilan gambar medis: menemukan wilayah pemindaian serupa atau tambalan histopatologi dalam database besar.
- Verifikasi pembicara dan suara dalam sistem otentikasi biometrik.
- Rekomendasi produk dan pencarian visual dalam e-commerce.
Cara kerjanya
Cara kerjanya
Dari data berlabel atau anotasi berpasangan, pasangan positif (kelas yang sama atau secara eksplisit serupa) dan pasangan negatif (kelas berbeda atau secara eksplisit tidak serupa) didefinisikan. Kendala ini mengkodekan apa arti 'dekat' dan 'jauh' untuk tugas tersebut, dan membentuk sinyal pengawasan untuk melatih metrik.
Fungsi jarak parametrik dipilih — paling sering jarak Mahalanobis yang diatur oleh matriks semi-definit positif M, atau fungsi penyematan jaringan saraf diikuti oleh jarak Euclidean atau kosinus. Matriks M menggeneralisasi penskalaan yang sejajar dengan sumbu ke pembobotan ulang fitur silang penuh.
Rumus
d_M(x_i,x_j)=\sqrt{(x_i-x_j)^\top M (x_i-x_j)},\; M \succeq 0Sebuah tujuan dirumuskan untuk mendekatkan pasangan positif dan mendorong pasangan negatif menjauh sambil menghormati margin atau kendala lunak. Tujuan umum termasuk kerugian kontrastif, kerugian triplet (jarak jangkar-positif lebih kecil dari jarak jangkar-negatif dengan margin), atau kerugian engsel tetangga terdekat margin besar (LMNN).
Parameter metrik (bobot M atau jaringan saraf) dioptimalkan melalui penurunan gradien atau pemrograman semi-definit. Strategi pengambilan sampel mini-batch seperti penambangan negatif keras sangat penting untuk tujuan berbasis triplet: pengambilan sampel acak cenderung menghasilkan triplet yang tidak informatif yang memperlambat konvergensi.
Pada inferensi, metrik atau penyematan yang dipelajari diterapkan pada data baru. Tugas hilir — klasifikasi tetangga terdekat, pengelompokan k-means, pengambilan gambar, atau rekomendasi — beroperasi di ruang yang dipelajari, di mana jarak secara akurat mencerminkan kesamaan semantik.
Kesalahan umum
- Menggunakan pengambilan sampel triplet acak alih-alih penambangan negatif keras atau semi-keras, yang mengarah ke gradien mendekati nol dan pelatihan terhenti.
- Mengevaluasi metrik hanya pada kelas pelatihan; kinerja pada kelas yang tidak terlihat (target generalisasi sebenarnya) mungkin jauh lebih rendah.
- Mengabaikan normalisasi penyematan sebelum menghitung kesamaan kosinus, menyebabkan artefak skala.
- Memperlakukan penyematan yang dipelajari sebagai dapat diinterpretasikan dalam hal fitur asli tanpa analisis tambahan seperti pemindaian linier atau SHAP.
- Menerapkan metrik yang dipelajari ke pergeseran domain (distribusi data berbeda) tanpa validasi ulang atau penyesuaian.
Pertanyaan yang sering diajukan
Apa perbedaan antara pembelajaran metrik dan pembelajaran kontrastif?
Pembelajaran kontrastif adalah keluarga spesifik dari tujuan pembelajaran metrik (mis., kerugian kontrastif, SimCLR) yang membedakan pasangan positif dan negatif. Pembelajaran metrik adalah kerangka kerja yang lebih luas yang juga mencakup metode Mahalanobis, kerugian triplet, dan tujuan berbasis proksi.
Berapa banyak contoh per kelas yang saya butuhkan?
Metode Mahalanobis linier dapat bekerja dengan hanya 10–20 contoh per kelas. Pembelajaran metrik mendalam umumnya membutuhkan puluhan hingga ratusan contoh per kelas untuk mempelajari penyematan yang berguna, meskipun tulang punggung yang telah dilatih sebelumnya dapat secara substansial mengurangi persyaratan ini.
Apakah pembelajaran metrik sama dengan pengurangan dimensi?
Tidak persis. Metode seperti PCA atau UMAP mengurangi dimensi tanpa pengawasan langsung. Pembelajaran metrik menggunakan pengawasan kelas atau berpasangan untuk membentuk geometri, sehingga ruang yang dihasilkan diskriminatif terhadap tugas, bukan hanya ringkas.
Bisakah pembelajaran metrik menangani kelas yang tidak seimbang?
Ya, tetapi pengambilan sampel pasangan/triplet harus distratifikasi untuk menghindari kelas dominan membanjiri batch. Kerugian berbasis proksi (Proxy-NCA, Proxy-Anchor) lebih kuat terhadap ketidakseimbangan kelas daripada pengambilan sampel triplet.
Kapan saya harus menggunakan pembelajaran metrik daripada pengklasifikasi standar?
Lebih pilih pembelajaran metrik ketika Anda perlu menggeneralisasi ke kelas yang tidak terlihat saat pelatihan (pengenalan set terbuka, pembelajaran sedikit contoh), atau ketika tugasnya adalah pengambilan daripada prediksi kelas tetap.
Metode terkait
Sumber
Xing, E. P., Jordan, M. I., Russell, S., & Ng, A. Y. (2003). Distance metric learning with application to clustering with side-information. In Advances in Neural Information Processing Systems (NIPS), 16, 505–512.
Buka referensi publikasiDisalin.Weinberger, K. Q., & Saul, L. K. (2009). Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research, 10, 207–244.
Buka referensi publikasiDisalin.