İçeriğe atla
Arama sonuçlarına dön

Yarı Denetimli Rastgele Orman

Ortaya koyan
Leistner, C., Saffari, A., Santner, J., & Bischof, H.
Yıl
2009
Tür
Semi-supervised ensemble classifier
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yarı Denetimli Rastgele Orman (SSL-RF), hem etiketli hem de etiketsiz eğitim örneklerini kullanarak klasik Rastgele Orman'ı genişletir.

Veri etiketleme pahalı veya zaman alıcı olduğunda, SSL-RF, ormanın kendisi aracılığıyla etiketsiz gözlemlere geçici sözde etiketler atar, ardından zenginleştirilmiş veri kümesi üzerinde yeniden eğitim yapar ve ek insan etiketlemesi gerektirmeden doğruluğu aşamalı olarak iyileştirir.

Yöntemin mantığı

Bir uzmanlar paneline (ağaçlarınız) vakaları sınıflandırmasını istediğinizi, ancak çoğu vaka dosyasının doğrulanmış bir tanısı olmadığını hayal edin. SSL-RF, panelin belirsiz dosyalar üzerinde oy kullanmasına izin verir, güvenli oyları geçici teşhisler olarak ele alır, bu dosyaları eğitim havuzuna ekler ve panel yakınsayana kadar bu işlemi tekrarlayarak yeniden eğitim yapar. Etiketli örnekler ormana rehberlik ederken, etiketsiz çoğunluk, yalnızca etiketli verilerin ulaşamayacağı bölgelerde karar sınırlarını şekillendirir ve etiketlerin az olduğu durumlarda daha iyi genelleme sağlar.

Tarih

Yarı denetimli öğrenme, Xiaojin Zhu (2005) tarafından sistematik olarak incelenmiş ve etiketsiz verileri kullanmanın teorik motivasyonunu ortaya koymuştur. Kanonik SSL-RF formülasyonu, Leistner ve arkadaşları tarafından ICCV 2009'da tanıtılmış, entropi tabanlı bölmeyi manifold düzenlileştirme ile rastgele orman çerçevesinde birleştirmiştir. Yöntem, açıklama maliyetlerinin yüksek olduğu bilgisayar görüşü ve tıbbi görüntülemede ilgi görmüş ve o zamandan beri derin özellik entegrasyonu ve grafik tabanlı etiket yayılımı varyantlarıyla genişletilmiştir.

Ne zaman kullanılır?

Bol miktarda etiketsiz veriniz olduğunda ancak etiketleme maliyetli, az veya zaman alıcı olduğunda Yarı Denetimli Rastgele Orman kullanın — tıbbi görüntüleme, uzaktan algılama, metin sınıflandırması ve biyolojik verilerde yaygındır. En azından mütevazı bir etiketli alt kümeye (toplam verinin yaklaşık %5-20'si) sahip tablo, görüntüden türetilmiş özellik ve karma tip veri kümeleri için uygundur. Neredeyse hiç güvenilir etiket olmadığında (ilk orman faydalı sözde etiketler üretemeyecek kadar zayıf olacaktır), sınıf sınırları oldukça pürüzsüz olmadığında veya tamamen denetimli bir modelin yalnızca etiketli kümeniz üzerinde zaten tatmin edici performans gösterdiği durumlarda kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Sözde etiketlerin kalitesi, ilk denetimli ormana bağlıdır; zayıf bir başlangıç modeli, hataları sonraki tüm yinelemeler boyunca yayar.
  • Güven eşiği seçimi önemsiz değildir ve nihai performansı önemli ölçüde etkileyebilir.
  • Hesaplama maliyeti, etiketsiz örneklerin sayısı ve yinelemelerle, özellikle büyük ormanlar için artar.
  • Etiketsiz veri dağılımı, etiketli veriden farklıysa (kovaryat kayması), sözde etiketler sistematik olarak yanlı olabilir.
  • Yakınsama garanti edilmez; yinelemeli kendi kendine eğitim, dikkatli durdurma kriterleri olmadan erken yanlış sınıflandırmaları güçlendirebilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Yalnızca etiketli verilerin başarabileceğinin ötesinde doğruluğu artırmak için ucuz etiketsiz verilerden yararlanır.
  • Tüm Rastgele Orman avantajlarını miras alır: sağlamlık, yerleşik özellik önemi ve torbalama yoluyla aşırı uyuma karşı direnç.
  • Esnek güven eşiği, etiketsiz verilerin ne kadar agresif bir şekilde dahil edildiğini kontrol etmenizi sağlar.
  • Karma özellik türlerini, doğrusal olmayan ilişkileri ve yüksek boyutlu girdiyi dağılımsal varsayımlar olmaksızın doğal olarak işler.
  • Etiketli kısımdan elde edilen torba dışı tahminler, küçük etiketli kümelerde bile bir doğrulama sinyali sağlar.
  • Minimal algoritmik değişikliklerle hem sınıflandırma hem de regresyon görevlerine uygulanabilir.

Uygulama alanları

  • Histopatoloji ve radyoloji gibi uzman etiketlemesinin pahalı olduğu tıbbi görüntü sınıflandırması.
  • Sınırlı yer-gerçek etiketlere sahip uzaktan algılama ve uydu görüntü analizi.
  • Yalnızca bir belge alt kümesinin manuel olarak etiketlenebildiği metin ve belge kategorizasyonu.
  • Islak laboratuvar doğrulamasının kaynak yoğun olduğu biyolojik ve genomik veri analizi.
  • Seyrek hata etiketlerine sahip ancak bol miktarda etiketsiz sensör okumasına sahip endüstriyel kalite kontrolü.
  • Doğrulanmış dolandırıcılık vakalarının etiketsiz işlemlere göre nadir olduğu dolandırıcılık tespiti.

Nasıl çalışır?

Nasıl çalışır?

1

Süreç, küçük bir etiketli küme ve büyük bir etiketsiz küme ile başlar. Etiketli gözlemler, ilk özellik uzayını ve sınıf dağılımını oluşturur, böylece herhangi bir sözde etiketleme adımı denenmeden önce en az bir güvenilir sinyalin varlığını garanti eder.

2

Yalnızca etiketli veriler üzerinde standart bir Rastgele Orman eğitilir. Önyükleme örneklemesi ve rastgele özellik seçimi, denetimli durumda olduğu gibi uygulanır ve tahminleri bu aşamada mevcut olan gerçek etiketleri yansıtan bir topluluk üretir.

3

Eğitilmiş orman, her etiketsiz gözlem için sınıf olasılıklarını tahmin eder. Tahmin edilen olasılığı bir güven eşiğini (genellikle çapraz doğrulama ile ayarlanır) aşan örnekler bir sözde etiket alır. Düşük güvenli örnekler, hata yayılımını önlemek için etiketsiz bırakılabilir veya ağırlıkları azaltılabilir.

4

Orman, orijinal etiketli örnekler ve yeni sözde etiketli örneklerin birleşik havuzu üzerinde yeniden eğitilir. İsteğe bağlı örnek ağırlıklandırma, sözde etiketli örneklerin gerçek etiketlere göre ağırlığını azaltabilir. Bu aşamada manifold düzenlileştirme veya entropi tabanlı bölme kriterleri de uygulanabilir.

5

Sözde etiketleme ve yeniden eğitim adımları, sabit sayıda yineleme için veya sözde etiket atamaları ardışık turlarda stabilize olana kadar tekrarlanır. Erken durdurma, özellikle yüksek gürültülü veya yüksek örtüşmeli ayarlarda, aşırı güvenin hataları biriktirmesini önler.

6

Nihai tahminler, son eğitilmiş ormandaki tüm ağaçların oylarının birleştirilmesiyle elde edilir: sınıflandırma için çoğunluk oyu veya regresyon için ortalama yanıt. Ormandan elde edilen güven skorları, sonraki karar verme için kalibre edilmiş belirsizlik tahminleri olarak da hizmet edebilir.

Formül
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}

Sık yapılan hatalar

  • Güven eşiğini çok düşük ayarlamak ve eğitim kümesini gürültülü sözde etiketlerle doldurmak.
  • Etiketli ve etiketsiz havuzlar arasındaki kovaryat kaymasını göz ardı etmek, bu durum doğruluğu iyileştirmek yerine düşürebilir.
  • Yalnızca torba dışı tahminler üzerinde değerlendirme yapmak, gerçekten ayrı tutulmuş etiketli bir test kümesi olmadan.
  • Erken durdurma olmadan çok fazla kendi kendine eğitim yinelemesi çalıştırmak, turlar arasında hata birikimine neden olmak.
  • Sözde etiketli gözlemleri, herhangi bir örnek ağırlıklandırma uygulamadan gerçek etiketler kadar güvenilir kabul etmek.

Sık sorulan sorular

Başlamak için ne kadar etiketli veriye ihtiyacım var?

Kesin bir minimum yoktur, ancak ilk denetimli orman, faydalı sözde etiketler üretebilecek kadar güçlü olmalıdır. Pratikte, toplam örneklerin en az %5-10'unun etiketlenmesi — veya birkaç yüz etiketli gözlem — güvenilir başlangıç tahminleri vermeye eğilimlidir. Çok az etiketle, bunun yerine ortak eğitim veya grafik tabanlı yöntemleri düşünün.

Sözde etiketleme için güven eşiğini nasıl seçerim?

Etiketli küme üzerinde bir eşik değerleri ızgarası (örneğin, 0.60 ila 0.95) boyunca çapraz doğrulama yapın ve ayrı tutulan performansı maksimize eden değeri seçin. Daha yüksek bir eşik gürültüyü azaltır ancak kullanılan etiketsiz veri miktarını da azaltır; 0.80 civarında muhafazakar bir başlangıç yaygın bir uygulamadır.

SSL-RF sınıf dengesizliğini yönetebilir mi?

Evet, ancak etiketli kümedeki sınıf dengesizliği sözde etiketlere yayılır. İlk eğitim adımından önce etiketli havuzda sınıf ağırlıklı bölme kriterleri kullanın veya azınlık sınıfını aşırı örnekleyin. Genel doğruluk yerine sınıf başına kesinlik ve geri çağırmayı izleyin.

SSL-RF, rastgele orman temel öğrenicisi ile kendi kendine eğitim ile aynı mıdır?

Kendi kendine eğitim daha geniş algoritmik şemadır; SSL-RF bunun bir gerçekleşmesidir. SSL-RF uygulamaları, naif yinelemeli kendi kendine eğitimin ötesine geçerek manifold düzenlileştirilmiş bölme kriterlerini veya grafik tabanlı yapıyı da içerebilir.

SSL-RF yerine gradyan yükseltmeyi ne zaman tercih etmeliyim?

Tüm verileriniz etiketliyse, gradyan yükseltme genellikle daha yüksek doğruluk sağlar ve tercih edilmelidir. SSL-RF'yi özellikle etiketli kısım küçük olduğunda ve kullanılabilecek geniş bir etiketsiz veri havuzu mevcut olduğunda kullanın.

İlgili yöntemler

Kaynaklar

  1. Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.

    DOI kaynağını aç
    Kopyalandı.
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.

    Yayın kaynağını aç
    Kopyalandı.