İçeriğe atla
Arama sonuçlarına dön

Aktif Öğrenme Destek Vektör Makinesi

Ortaya koyan
Tong, S. & Koller, D.
Yıl
2001
Tür
Active learning + kernel classifier
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Aktif öğrenme SVM, destek vektör makinelerinin güçlü karar sınırını, insan etiketlemesi için en bilgilendirici etiketlenmemiş örnekleri seçen akıllı bir sorgu stratejisiyle birleştirir.

Tong ve Koller tarafından 2001'de tanıtılan bu yöntem, pasif denetimli öğrenmeye göre çok daha az etiketlenmiş örnek kullanarak yüksek sınıflandırma doğruluğu elde eder ve bu da etiketlemenin pahalı veya yavaş olduğu durumlarda pratik hale getirir.

Yöntemin mantığı

Standart bir SVM, güvenilir bir karar sınırı çizmek için çok sayıda etiketlenmiş örneğe ihtiyaç duyar. Aktif öğrenme SVM, etiketleme iş akışını tersine çevirir: küçük bir etiketlenmiş tohum kümesi üzerinde öncelikli bir SVM eğitir, ardından etiketlenmemiş tüm verilere bakar ve 'hangi örnek etiketlenirse sınırı en iyi şekilde keskinleştirir?' diye sorar. Mevcut hiper düzleme en yakın olan örneği - modelin en belirsiz olduğu yer - seçer, yalnızca o noktayı etiketler, yeniden eğitir ve tekrarlar. Her etiket stratejik olarak seçildiği için, şaşırtıcı derecede az sayıda etiket, kapsamlı etiketlemeye neredeyse eşit derecede iyi bir sınır üretebilir.

Tarih

SVM'ler için aktif öğrenmenin temel formülasyonu Simon Tong ve Daphne Koller tarafından ICML 2001'de sunulmuş ve Journal of Machine Learning Research (2001) dergisinde yayımlanmıştır. Basit Marj algoritmaları, marj tabanlı sorgu seçimini standart yaklaşım olarak belirlemiştir. Burr Settles'ın 2010 literatür taraması, daha geniş aktif öğrenme alanını sistematikleştirmiş ve AL-SVM'yi kanonik örneklerinden biri olarak sağlamlaştırmıştır. Yöntem, etiketleme verimliliği yüksek öğrenme araştırmalarında bir kıyaslama olmaya devam etmekte ve metin sınıflandırma, biyomedikal görüntü analizi ve uzaktan algılama alanlarında yaygın olarak kullanılmaktadır.

Ne zaman kullanılır?

Etiketlenmiş verinin az olduğu veya elde edilmesinin pahalı olduğu - tıbbi görüntüleme, belge sınıflandırma ve bilimsel etiketleme görevlerinde yaygın olan - ve büyük bir etiketlenmemiş veri havuzunun mevcut olduğu durumlarda Aktif öğrenme SVM kullanın. Etiketleme maliyetlerinin yüksek olduğu ve karar sınırının önemsiz olmadığı durumlarda rastgele etiketlemeden daha iyi performans gösterir. Zaten mevcut tüm verileri etiketlemenin mümkün olduğu durumlarda; çekirdek yapısı net olmayan aşırı yüksek boyutlu bir özellik uzayı olduğunda; veya etiketlenmemiş havuzun seçici sorgulamadan faydalanmak için çok küçük olduğu durumlarda kullanmayın. Ayrıca oracle kullanılabilirliğinin aralıklı olduğu durumlarda kaçının, çünkü döngü tekrarlanan insan erişimi gerektirir.

Sınırlar ve dikkat edilmesi gerekenler

  • Her iterasyonda SVM'yi baştan yeniden eğitmek, büyük etiketlenmiş havuzlar için hesaplama açısından pahalıdır; artımlı SVM güncellemeleri maliyeti azaltır ancak ortadan kaldırmaz.
  • Marj örneklemesi, etiketlenmemiş havuzda sınır yakınında gürültü veya yinelenenler varsa, gereksiz veya aykırı örnekler seçebilir.
  • Performans, çekirdek ve hiperparametre seçimine büyük ölçüde bağlıdır, bu da az sayıda etiketlenmiş örnekle güvenilir bir şekilde ayarlanması zordur.
  • Oracle'ın her zaman mevcut ve hatasız olduğu varsayılır; gerçek etiketleyicilerden gelen gürültülü veya tutarsız etiketler yakınsamayı bozar.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Pasif denetimli öğrenmeye göre önemli ölçüde daha az etiketlenmiş örnekle yüksek sınıflandırma doğruluğu elde eder.
  • SVM teorisine sıkıca dayanır: marj tabanlı sorgu seçimi açık bir geometrik ve olasılıksal gerekçeye sahiptir.
  • Esnek çekirdek seçimi (doğrusal, RBF, polinom), metin, görüntü ve tablo özellik uzaylarına uyum sağlamayı mümkün kılar.
  • Havuz tabanlı formülasyon pratiktir: tüm etiketlenmemiş küme önceden mevcuttur, bu da gerçek uygulamalarda yaygındır.
  • İteratif yeniden eğitim, performans ve etiketleme bütçesi arasındaki doğal bir izleme eğrisi sağlar.

Uygulama alanları

  • Uzman etiketlemesinin pahalı olduğu metin ve belge sınıflandırması (örneğin, yasal, tıbbi kayıtlar).
  • Radyolog veya patolog zamanının kısıtlayıcı bir faktör olduğu biyomedikal görüntü etiketleme.
  • Büyük etiketlenmemiş arşivlere sahip uzaktan algılama ve uydu görüntü sınıflandırması.
  • Etiketleme uzman güvenlik incelemesi gerektiren spam ve saldırı tespiti.
  • Yüksek etiketleme maliyeti başına örnek başına yüksek etiketleme maliyeti olan genomik veya malzeme biliminde bilimsel veri etiketleme.

Nasıl çalışır?

Nasıl çalışır?

1

Bir SVM, küçük bir başlangıç etiketlenmiş örnek havuzu üzerinde eğitilir ve erken bir karar hiper düzlemi oluşturulur. Bu tohum kümesinin kalitesi önemlidir: sınıf dengesi ve temsilci çeşitliliği, az sayıda örnekte bile önemlidir.

2

Algoritma, etiketlenmemiş her örneği mevcut SVM hiper düzlemine olan uzaklığına göre puanlar. En küçük mutlak marj değerine sahip örnek - yani sınıra en yakın, modelin en az güvendiği - bir sonraki sorgu olarak seçilir. Bu strateji marj örneklemesi veya basit marj olarak bilinir.

Formül
x^* = \arg\min_{x \in U} |\mathbf{w} \cdot \phi(x) + b|
3

Seçilen örnek bir insan etiketleyiciye (oracle) sunulur ve bu kişi gerçek sınıf etiketini atar. Havuz tabanlı aktif öğrenmede bu, iterasyon başına bir örnektir; yığın modu varyantları, oracle etkileşim turlarını azaltmak için çeşitli bir mini yığın seçer.

4

Yeni etiketlenen örnek etiketlenmiş kümeye eklenir ve SVM, büyütülmüş küme üzerinde baştan (veya artımlı olarak güncellenerek) yeniden eğitilir. Çekirdek seçimi (doğrusal, RBF, polinom) ve düzenlileştirme parametresi C, etiketlenmiş havuz üzerinde sabitlenir veya çapraz doğrulanır.

5

Döngü, önceden tanımlanmış bir bütçe (etiket sayısı, zaman sınırı veya tutulan bir doğrulama kümesi üzerinde hedef doğruluk) tükenene kadar veya sorgulanan örneklerin marjı, yeterli model kesinliğini gösteren bir güven eşiğini aşana kadar devam eder.

Sık yapılan hatalar

  • Sınıf dengesiz bir tohum kümesiyle başlamak, bu da başlangıç hiper düzlemini yanlı hale getirir ve sonraki tüm sorguları bir bölgeye doğru saptırır.
  • Özellik ölçeklendirmeyi göz ardı etmek: SVM marjları mesafeye dayalıdır, bu nedenle ölçeklenmemiş özellikler modelin düşük varyanslı boyutları tamamen göz ardı etmesine neden olur.
  • Etiketlenmiş havuz doğruluğunu ayrı bir tutulan test kümesi olmadan güvenilir bir performans tahmini olarak ele almak.
  • Her tur için çok büyük bir yığın seçmek, bu da pasif etiketlemenin verimsizliğini yeniden getirir ve aktif seçimin faydasını azaltır.
  • Doğası gereği doğrusal olmayan veriler üzerinde doğrusal bir çekirdek kullanmak ve ardından kötü sonuçları aktif öğrenmeye değil, model yanlış belirtimine bağlamak.

Sık sorulan sorular

Aktif öğrenme SVM, standart bir SVM'den nasıl farklıdır?

Standart bir SVM, sağlanan etiketlenmiş verileri pasif olarak kullanır. Aktif öğrenme SVM, mevcut karar sınırına en yakın olanları seçerek, etiketlenmesi istenen etiketlenmemiş örnekleri aktif olarak seçer. Sınıflandırma modeli aynı SVM'dir; yalnızca veri toplama stratejisi değişir.

Hangi sorgu stratejisini kullanmalıyım?

Basit Marj (hiper düzleme en yakın tek etiketlenmemiş örneği seçme) kanonik ve en çok incelenen stratejidir. Bir seçilmiş küme içindeki çeşitliliği en üst düzeye çıkaran yığın modu varyantları, uygulaması biraz daha karmaşık pahasına, oracle etkileşim turlarının maliyetli olduğu durumlarda tercih edilir.

Ne zaman sorgulamayı bırakmalıyım?

Yaygın durdurma kriterleri arasında sabit bir etiketleme bütçesinin tükenmesi, bir doğrulama kümesinde hedef doğruluğa ulaşılması veya ardışık olarak sorgulanan örneklerin hepsinin sınırdan uzakta yer aldığının gözlemlenmesi (model güveninin istikrar kazandığını gösterir) yer alır. Aşırı iyimser olduğu için yalnızca eğitim kümesi performansına güvenmekten kaçının.

Aktif öğrenme SVM, çok sınıflı problemleri ele alabilir mi?

Evet, bire karşı-rest veya bire karşı-bire ayrıştırmaları yoluyla. Çok sınıflı sorgu seçimi için marj genellikle iki en yüksek sınıf puanı arasındaki fark olarak tanımlanır; bu boşluğun en küçük olduğu örnekler seçilir. Bazı uygulamalar özel çok sınıflı aktif öğrenme kriterleri kullanır.

Derin öğrenme, aktif öğrenme SVM'yi modası geçmiş mi kılıyor?

Tamamen değil. Aktif öğrenme SVM, etiketlenmiş verinin çok az olduğu (düzinelerce ila yüzlerce örnek), eğitim hesaplama gücünün sınırlı olduğu veya marjın yorumlanabilirliğinin değerli olduğu durumlarda rekabetçi kalır. Derin aktif öğrenme yöntemleri yalnızca GPU kaynaklarının mevcut olduğu ve etiketlenmemiş havuzun çok büyük olduğu durumlarda tercih edilir.

İlgili yöntemler

Kaynaklar

  1. Tong, S., & Koller, D. (2001). Support Vector Machine Active Learning with Applications to Text Classification. Journal of Machine Learning Research, 2, 45–66.

    Yayın kaynağını aç
    Kopyalandı.
  2. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    Yayın kaynağını aç
    Kopyalandı.