Ölçüm Öğrenmesi
- Ortaya koyan
- Xing, E. P.; Jordan, M. I.; Russell, S.; Ng, A. Y.
- Yıl
- 2003 (foundational); refined 2009 (LMNN)
- Tür
- Representation learning / supervised distance optimization
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Ölçüm öğrenmesi, anlamsal olarak benzer örneklerin öğrenilmiş uzayda birbirine yakın, benzer olmayan örneklerin ise birbirinden uzaklaşmasını sağlayacak bir uzaklık veya benzerlik fonksiyonunu veriden eğiten bir makine öğrenmesi çerçevesidir.
Öklid gibi sabit uzaklıkların aksine, öğrenilmiş ölçüm görevin yapısına uyum sağlayarak sonraki sınıflandırıcıları, kümeleyicileri ve erişim sistemlerini önemli ölçüde daha doğru hale getirir.
Yöntemin mantığı
Öklid gibi standart uzaklıklar tüm özellik boyutlarını eşit şekilde ele alır. Ancak birçok problemde bazı özellikler diğerlerinden çok daha bilgilendiricidir ve ilgili boyutlar sınıfa göre değişir. Ölçüm öğrenmesi, cetvel eğitmeye benzer: hangi örnek çiftlerinin yakın, hangilerinin ise uzak olması gerektiği hakkında bilgi verildiğinde, özellik uzayının geometrisini basit bir en yakın komşu sınıflandırıcısının veya kümeleme algoritmasının gruplamaları hemen doğru yapmasını sağlayacak şekilde ayarlar. Öğrenilmiş uzay, belirli görev için 'benzerlik' kavramını etkili bir şekilde yakalar.
Tarih
Yüz doğrulama ve tanıma: iki yüz görüntüsünün aynı kişiyi gösterip göstermediğini öğrenmek.
Ne zaman kullanılır?
Görev doğası gereği benzerlik tabanlı olduğunda - örneğin, az sayıda örnekle sınıflandırma, yüz doğrulama, tıbbi görüntü erişimi, konuşmacı kimlik doğrulaması veya ürün önerisi - ve sabit bir Öklid uzaklığının, özelliklerin eşit olmayan alaka düzeyleri nedeniyle kötü performans gösterdiği durumlarda ölçüm öğrenmesini kullanın. Orta ila büyük etiketli veri kümeleri ve görüntüler veya metin gömmeleri gibi yüksek boyutlu girdilerle iyi çalışır. Sınıf başına çok az etiketlenmiş örneğiniz olduğunda (sınıf başına yaklaşık 5-10'dan az), nihai hedefin lojistik regresyon veya gradyan artırma ile iyi hizmet edilen basit bir tablo regresyonu veya sınıflandırması olduğu durumlarda veya açık özellik katsayıları açısından yorumlanabilirlik gerektiğinde bundan kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Üçlü ve karşıtlık kayıpları dikkatli çift/üçlü madenciliği gerektirir; rastgele örnekleme çoğunlukla kolay, bilgilendirici olmayan çiftler üretir ve eğitimi büyük ölçüde yavaşlatır.
- Doğrusal Mahalanobis yöntemleri, özellik boyutluluğu ile karesel olarak ölçeklenir ve boyut azaltma olmadan çok yüksek boyutlarda imkansız hale gelir.
- Etiketlenmiş veya çiftli kısıtlamalı verilere ihtiyaç duyar; tamamen denetimsiz ortamlar, ek varsayımlar olmadan ne öğrenilebileceğini sınırlar.
- Değerlendirme dolaylıdır - ölçüm kalitesi, tek bir kayıp değeriyle değil, sonraki bir görev aracılığıyla değerlendirilmelidir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Özellik uzayının geometrisini belirli göreve uyarlar, en yakın komşu ve kümeleme doğruluğunu önemli ölçüde artırır.
- Az sayıda örnekle tanımayı sağlar: iyi bir ölçüm öğrenildikten sonra, yeni sınıfları sınıflandırmak yalnızca birkaç örnek gerektirir.
- Alanlar arasında iyi aktarılır - bir veri kümesinde öğrenilen bir ölçüm, daha az ek veriyle ilgili bir görev için ince ayarlanabilir.
- Modelden bağımsızdır: öğrenilmiş gömme, bu bileşenleri yeniden eğitmeye gerek kalmadan herhangi bir sonraki algoritmayı (k-NN, SVM, k-ortalamalar) besleyebilir.
- Karşıtlık ve üçlü formülasyonlar, mini-yığın örnekleme yoluyla çok büyük veri kümelerine ölçeklenir.
Uygulama alanları
- Az sayıda örnekle görüntü sınıflandırma: bir veya birkaç örnekten yeni görsel kategorileri sınıflandırmak.
- Tıbbi görüntü erişimi: büyük veritabanlarında benzer tarama bölgelerini veya histopatoloji yamalarını bulmak.
- Konuşmacı ve ses doğrulama, biyometrik kimlik doğrulama sistemlerinde.
- E-ticarette ürün önerisi ve görsel arama.
- Ölçüm öğrenmesi ile karşıtlık öğrenmesi arasındaki fark nedir?
Nasıl çalışır?
Nasıl çalışır?
Etiketlenmiş veya çiftli olarak etiketlenmiş verilerden, pozitif çiftler (aynı sınıf veya açıkça benzer) ve negatif çiftler (farklı sınıf veya açıkça benzer olmayan) tanımlanır. Bu kısıtlamalar görev için 'yakın' ve 'uzak' kavramlarının ne anlama geldiğini kodlar ve ölçümün eğitimi için denetim sinyalini oluşturur.
Parametrik bir uzaklık fonksiyonu seçilir; çoğu zaman pozitif yarı-tanımlı bir M matrisi tarafından yönetilen bir Mahalanobis uzaklığı veya Öklid veya kosinüs uzaklığını takip eden bir sinir ağı gömme fonksiyonu. M matrisi, eksen hizalı ölçeklemeyi tam çapraz özellik yeniden ağırlıklandırmaya geneller.
Formül
d_M(x_i,x_j)=\sqrt{(x_i-x_j)^\top M (x_i-x_j)},\; M \succeq 0Pozitif çiftleri bir araya getirmek ve negatif çiftleri bir kenar boşluğu veya yumuşak kısıtlamaya saygı duyarak birbirinden uzaklaştırmak için bir amaç formüle edilir. Yaygın amaçlar arasında karşıtlık kaybı, üçlü kaybı (çapa-pozitif uzaklığın çapa-negatif uzaklıktan bir kenar boşluğu kadar az olması) veya büyük kenar boşluklu en yakın komşu (LMNN) menteşe kaybı bulunur.
Ölçüm parametreleri (M veya sinir ağı ağırlıkları) gradyan inişi veya yarı-tanımlı programlama yoluyla optimize edilir. Üçlü tabanlı amaçlar için zorlayıcı negatif madenciliği gibi mini-yığın örnekleme stratejileri kritiktir: rastgele örnekleme, yakınsamayı yavaşlatan bilgilendirici olmayan üçlüler üretme eğilimindedir.
Çıkarım sırasında, öğrenilmiş ölçüm veya gömme yeni verilere uygulanır. Sonraki görevler - en yakın komşu sınıflandırması, k-ortalamalar kümelemesi, görüntü erişimi veya öneri - uzaklığın anlamsal benzerliği doğru bir şekilde yansıttığı öğrenilmiş uzayda çalışır.
Sık yapılan hatalar
- Eğitimdeki sınıflar üzerinde ölçümü değerlendirmek; görünmeyen sınıflar üzerindeki performans (gerçek genelleme hedefi) çok daha düşük olabilir.
- Kosinüs benzerliğini hesaplamadan önce gömmeleri normalleştirmeyi ihmal etmek, ölçek artefaktlarına neden olur.
- Öğrenilmiş gömme, doğrusal sorgulama veya SHAP gibi ek analizler olmadan orijinal özellikler açısından yorumlanabilir olarak kabul etmek.
- Öğrenilmiş bir ölçümü bir alan kaymasına (farklı veri dağılımı) yeniden doğrulama veya ince ayar yapmadan uygulamak.
- Modern çerçeve Xing vd. (2003) tarafından oluşturulmuştur; onlar ölçüm öğrenmesini çiftli kısıtlamalarla dışbükey bir optimizasyon problemi olarak formüle etmişlerdir. Weinberger ve Saul (2009), k-NN tabanlı görevler için yeni bir standart belirleyen Büyük Kenar Boşluklu En Yakın Komşu (LMNN) yöntemini tanıttı. Alan, derin ölçüm öğrenmesiyle hızlandı: Chopra vd. (2005) karşıtlık kaybıyla Siamese ağını popülerleştirdi ve Schroff vd. (2015) büyük ölçekli yüz doğrulama için FaceNet üçlü kaybını tanıttı. Günümüzde ölçüm öğrenmesi, az sayıda örnekle öğrenme ve görsel temsil araştırmalarının çoğunun temelini oluşturmaktadır.
Sık sorulan sorular
Karşıtlık öğrenmesi, pozitif ve negatif çiftleri karşılaştıran belirli bir ölçüm öğrenmesi amaçları ailesidir (örneğin, karşıtlık kaybı, SimCLR). Ölçüm öğrenmesi, Mahalanobis yöntemlerini, üçlü kayıpları ve vekil tabanlı amaçları da içeren daha geniş çerçevedir.
Her sınıftan kaç örneğe ihtiyacım var?
Doğrusal Mahalanobis yöntemleri, sınıf başına 10-20 örnek kadar azıyla çalışabilir. Derin ölçüm öğrenmesi genellikle kullanışlı gömmeler öğrenmek için sınıf başına onlarca ila yüzlerce örnek gerektirir, ancak önceden eğitilmiş omurgalar bu gereksinimi önemli ölçüde azaltabilir.
Ölçüm öğrenmesi boyut azaltma ile aynı şey midir?
Tam olarak değil. PCA veya UMAP gibi yöntemler doğrudan denetim olmadan boyutları azaltır. Ölçüm öğrenmesi, sınıf veya çiftli denetimi kullanarak geometriyi şekillendirir, böylece sonuçtaki uzay sadece kompakt değil, görev ayırt edicidir.
Ölçüm öğrenmesi dengesiz sınıfları işleyebilir mi?
Evet, ancak yığınları domine eden sınıfın baskın olmasını önlemek için çift/üçlü örnekleme tabakalandırılmalıdır. Vekil tabanlı kayıplar (Proxy-NCA, Proxy-Anchor), üçlü örneklemeye göre sınıf dengesizliğine karşı daha dayanıklıdır.
Standart bir sınıflandırıcı yerine ne zaman ölçüm öğrenmesi kullanmalıyım?
Eğitim sırasında görülmeyen sınıflara genelleme yapmanız gerektiğinde (açık küme tanıma, az sayıda örnekle öğrenme) veya görev sabit sınıf tahmini yerine erişim olduğunda ölçüm öğrenmesini tercih edin.
MethodMind'da kendi veri kümenizde Ölçüm Öğrenmesi çalıştırın - etiketlenmiş veya çiftli olarak etiketlenmiş verileri yükleyin, bir Mahalanobis veya gömme tabanlı yaklaşım seçin ve öğrenilmiş uzaklık matrisini, gömme görselleştirmesini ve en yakın komşu değerlendirme metriklerini alın.
İlgili yöntemler
Kaynaklar
Xing, E. P., Jordan, M. I., Russell, S., & Ng, A. Y. (2003). Distance metric learning with application to clustering with side-information. In Advances in Neural Information Processing Systems (NIPS), 16, 505–512.
Yayın kaynağını açKopyalandı.Weinberger, K. Q., & Saul, L. K. (2009). Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research, 10, 207–244.
Yayın kaynağını açKopyalandı.