İçeriğe atla
Arama sonuçlarına dön

Yarı Denetimli Karar Ağacı

Ortaya koyan
Various (Levin & Shapiro; Zhu & Goldberg lineage)
Yıl
2000s
Tür
Semi-supervised classifier / regressor
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yarı Denetimli Karar Ağacı, etiketli eğitim setinin yanı sıra etiketsiz gözlemleri de kullanmak üzere CART veya C4.5 gibi standart karar ağacı çıkarımını genişletir.

Algoritma, etiketsiz verilere yinelemeli olarak geçici etiketler atayarak ve bunları büyüme veya bölme sürecine dahil ederek, yalnızca etiketli alt küme üzerinde eğitilmiş tamamen denetimli bir ağaçtan daha iyi doğruluk elde edebilir; bu durum özellikle etiketlemenin pahalı veya zaman alıcı olduğu durumlarda değerlidir.

Yöntemin mantığı

Her gözlemi etiketlemek maliyetlidir, ancak etiketsiz veriler yine de özellik alanı hakkında faydalı yapısal bilgiler içerir. Yarı denetimli bir karar ağacı, önce az sayıdaki etiketli örnekten bir ağaç oluşturarak, bu ağacı etiketsiz verileri geçici olarak etiketlemek için kullanarak ve ardından genişletilmiş küme üzerinde yeniden eğitim yaparak bundan faydalanır. Tekrarlanan yinelemeler hem geçici etiketleri hem de ağaç yapısını eş zamanlı olarak iyileştirir, böylece model, gerçek etiketler az olsa bile genel veri dağılımından öğrenir.

Tarih

Yarı denetimli öğrenme, araştırmacıların web sınıflandırması ve hesaplamalı biyoloji gibi alanlarda mevcut olan bol miktardaki etiketsiz veriden yararlanmaya çalıştığı 1990'ların sonlarında ortaya çıktı. Bir ağacın kendi etiketsiz verilerini yinelemeli olarak etiketlediği karar ağaçlarının kendi kendine eğitim varyantları, en eski örnekler arasındaydı. Resmi tedavi, ağaç tabanlı kendi kendine eğitimi daha geniş yarı denetimli öğrenme taksonomisi içinde konumlandıran Zhu ve Goldberg (2009) tarafından yapılan araştırmada yer aldı. O zamandan beri, yaklaşımlar topluluk ayarlarına genişletilerek yarı denetimli rastgele ormanlar ve gradyan artırılmış ağaçlar üretildi.

Ne zaman kullanılır?

Yarı denetimli karar ağaçları, etiketli verilerin az ve elde edilmesinin pahalı olduğu ancak geniş bir etiketsiz gözlem havuzunun mevcut olduğu durumlarda uygundur — tıbbi görüntüleme anotasyonu, metin sınıflandırması ve sensör tabanlı izlemede yaygındır. Özellikle genel özellik dağılımının etiketsiz havuz tarafından iyi yakalandığı ve insan tarafından yorumlanabilir bir modelin (bir ağaç) gerektiği durumlarda faydalıdırlar. Etiketli örnek o kadar küçükse ki başlangıç ağacı son derece güvenilmezse, etiketsiz veriler test dağılımını temsil etmiyorsa veya sözde etiketleme sürecinin sistematik hataları (onay yanlılığı) yayması bekleniyorsa bu yöntemden kaçınılmalıdır. Bu durumlarda, temiz etiketli veriler üzerinde tamamen denetimli yöntemler veya etiket yayılımı veya birlikte eğitim gibi alternatif yarı denetimli yaklaşımlar daha güvenli olabilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Güvenilmez bir başlangıç ağacından kaynaklanan sözde etiket hataları yinelemeler boyunca büyüyebilir ve tamamen denetimli bir temel çizgiye göre performansı düşürebilir.
  • Yöntem, etiketsiz verilerin etiketli verilerle aynı temel dağılımı paylaştığını varsayar; dağılım kayması bu varsayımı bozar.
  • Ağaçlar giderek büyüyen etkili veri setleri üzerinde yeniden eğitildikçe hesaplama maliyeti her yinelemede artar.
  • Sözde etiket dahil etme için güven eşiğini seçmek dikkatli ayarlama ve çapraz doğrulama gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Etiketli örnekler az olduğunda doğruluğu artırmak için etiketsiz verileri kullanır, böylece açıklama maliyetini azaltır.
  • Karar ağaçlarının yorumlanabilirliğini korur: ortaya çıkan model, insan tarafından okunabilir bir eğer-o zaman kuralları setidir.
  • Ön işleme normalizasyonuna gerek kalmadan karma özellik türlerini — sürekli, kategorik, ikili — doğal olarak işler.
  • Yinelemeli kendi kendine eğitim, mevcut herhangi bir ağaç öğrenicinin üzerine kolayca uygulanabilir.
  • Doğrusal yarı denetimli modellerin gözden kaçırdığı doğrusal olmayan sınırları ve özellik etkileşimlerini yakalayabilir.

Uygulama alanları

  • Uzman açıklamasının pahalı olduğu ve büyük açıklamasız arşivlerin bulunduğu tıbbi görüntü ve kayıt sınıflandırması.
  • Küçük etiketli korpuslar ve büyük etiketsiz koleksiyonlarla metin ve belge kategorizasyonu.
  • Zaman serisi segmentlerinin yalnızca bir kısmının manuel olarak etiketlendiği sensör ve IoT veri analizi.
  • Az sayıda deneysel olarak doğrulanmış etiketle gen fonksiyonu tahmini gibi biyoinformatik görevler.
  • Etiketli dolandırıcılık vakalarının etiketsiz işlem hacmine kıyasla nadir olduğu dolandırıcılık tespiti.

Nasıl çalışır?

Nasıl çalışır?

1

Standart bir karar ağacı (örneğin, CART veya C4.5), veri setinin yalnızca etiketli kısmı kullanılarak uyarlanır. Bu başlangıç modeli, karar sınırlarına ilk bir yaklaşım sağlar ve sonraki yarı denetimli yinelemeler için bir tohum görevi görür.

2

Her etiketsiz gözlem mevcut ağaçtan geçirilir ve tahmin edilen sınıf (sınıflandırma için) veya tahmin edilen değer (regresyon için) geçici bir etiket olarak atanır. Yaprak düğümlerinden elde edilen güven veya olasılık tahminleri, yalnızca en güvenilir sözde etiketleri seçmek için kullanılabilir ve düşük güvenli atamalar filtrelenebilir.

3

Ağaç, hem orijinal etiketli örnekler hem de yeni sözde etiketlenmiş etiketsiz gözlemler kullanılarak sıfırdan yeniden eğitilir. Yüksek güvenli sözde etiketler, gerçek etiketlerin yanı sıra bölme kararlarına katkıda bulunarak etkili eğitim setini genişletir.

4

Hem etiketli hem de etiketsiz gözlemler üzerinde hesaplanan entropi veya Gini gibi değiştirilmiş bölme kriterleri veya denetimli saflığı denetimsiz küme tutarlılığı ile dengeleyen çift kriterli hedefler, düğüm bölmelerini etiketsiz noktalar tarafından ortaya konan temel veri dağılımına saygı gösterecek şekilde yönlendirir.

5

Yineleme, geçici etiketler ardışık turlarda stabilize olana veya maksimum bir yineleme sınırına ulaşılana kadar devam eder. Daha sonra, sözde etiketlenmiş veriler üzerinde aşırı uyumu kontrol etmek için nihai ağaca standart budama sonrası stratejiler (maliyet-karmaşıklık budaması, minimum yaprak boyutu) uygulanır.

Sık yapılan hatalar

  • Güven düzeyine bakılmaksızın tüm sözde etiketleri kullanmak, düşük kaliteli atamaların sonraki yinelemelerde baskın olmasına neden olur.
  • Eğitimden önce etiketsiz verilerin etiketli setle aynı dağılımdan çekildiğini doğrulamamak.
  • Performans metriklerini raporlarken son ağacın yaprak istatistiklerini tamamen denetimli olarak ele almak — torba dışı veya ayrılmış etiketli değerlendirme gereklidir.
  • Sözde etiket artırımından sonra budamayı atlamak, gürültülü geçici etiketlere aşırı uyuma neden olur.
  • Kullanılan ek etiketsiz verileri hesaba katmadan, aynı etiketli alt küme üzerinde eğitilmiş tamamen denetimli bir ağaçla doğrudan karşılaştırmak.

Sık sorulan sorular

Yarı denetimli bir karar ağacı, normal bir kendi kendine eğitim sınıflandırıcısından nasıl farklıdır?

Temel prensip — etiketsiz veriler üzerindeki tahminleri eğitimi artırmak için kullanmak — aynıdır. Ağaca özgü yaklaşımları ayıran şey, yalnızca etiketli seti yinelemeli olarak genişletmek yerine, bölme kriterinin kendisini etiketsiz dağılım bilgisini dahil edecek şekilde değiştirme seçeneğidir.

Başlamak için kaç etiketli örneğe ihtiyacım var?

Evrensel bir minimum yoktur, ancak başlangıçtaki denetimli ağacın faydalı sözde etiketler üretecek kadar güvenilir olması gerekir. Pratikte, sınıf başına en az 20-50 etiketli örnek genellikle önerilir; daha azıyla, hata yayılımı riski yüksektir ve etiket yayılımı gibi alternatif yaklaşımlar daha iyi çalışabilir.

Tüm etiketsiz verileri mi kullanmalıyım yoksa bir alt küme mi seçmeliyim?

Yalnızca yüksek güvenli sözde etiketleri seçmek — örneğin yaprak olasılığının 0.85 gibi bir eşiği aştığı durumlar — genellikle tüm etiketsiz noktaları kullanmaktan daha iyi performans gösterir, özellikle başlangıç ağacı kusurlu olduğunda.

Bu, standart çapraz doğrulamayı değiştirir mi?

Hayır. Sözde etiketler modelin kendisinden türetildiği için, örnek içi metrikler iyimserdir. Değerlendirme, ayrılmış bir etiketli test seti veya kesinlikle etiketli bölüme uygulanan k-kat çapraz doğrulama kullanmalıdır.

Bunu topluluk yöntemleriyle birleştirebilir miyim?

Evet. Yarı denetimli rastgele ormanlar ve birlikte orman yaklaşımları, fikri topluluklara genişletir, bu da sözde etiket hatalarının varyansını azaltabilir ve tipik olarak tek bir yarı denetimli ağaçtan daha iyi performans gösterir.

İlgili yöntemler

Kaynaklar

  1. Levin, E. & Shapiro, E. (2000). Learning Decision Trees from Semi-labeled Examples. Proceedings of the ICML Workshop on Attribute-Value and Relational Learning.

    Yayın kaynağını aç
    Kopyalandı.
  2. Zhu, X. & Goldberg, A. B. (2009). Introduction to Semi-Supervised Learning. Morgan & Claypool Publishers.

    ISBN: 978-1-598-29548-9
    Kopyalandı.