Aktif Öğrenme Karar Ağacı
- Ortaya koyan
- Settles, B. (active learning framework); Breiman et al. (decision tree base)
- Yıl
- 1984–2010
- Tür
- Active learning with decision tree base learner
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Aktif öğrenme, bir karar ağacının yorumlanabilir yapısını, insan etiketlemesi için en bilgilendirici etiketlenmemiş örnekleri seçen bir sorgu stratejisiyle birleştirir.
Model, yalnızca en çok emin olmadığı örneklere yönelik etiketler isteyerek, etiketleme maliyetini en aza indirirken tablo verileri üzerindeki sınıflandırma doğruluğunu en üst düzeye çıkarır.
Yöntemin mantığı
Her eğitim örneğini etiketlemek maliyetlidir. Aktif öğrenme, modelin şu soruyu sormasına izin vererek bunu çözer: 'Hangi etiketlenmemiş örnek etiketlenirse bana en çok şeyi öğretir?' Bir karar ağacı, her sorgu adımında belirsizliği tahmin eden sınıflandırıcı olarak kullanılır. Her yeni etiket eklendikten sonra ağaç yeniden eğitilir ve sorgu döngüsü tekrarlanır. Sonuç, sıfırdan eğitilmiş tam denetimli bir ağaca göre çok daha az etiketlenmiş örnekle rekabetçi bir doğruluk elde eden bir modeldir, bu da onu etiketlemenin maliyetli veya zaman alıcı olduğu durumlar için pratik hale getirir.
Tarih
Sınıflandırıcı olarak karar ağaçları, Breiman ve arkadaşlarının CART'ına (1984) ve Quinlan'ın C4.5'ine (1993) dayanır. Aktif öğrenme sistematik bir çerçeve olarak Burr Settles (2010) tarafından kapsamlı bir şekilde incelenmiştir; bu çalışma belirsizlik örneklemesi, komite tarafından sorgulama ve beklenen model değişikliği stratejilerini belgelemiştir. Karar ağaçları, 1990'ların sonlarından beri aktif öğrenme kıyaslamalarında standart bir temel öğrenici olmuştur ve Cohn, Atlas ve Ladner'ın erken havuz tabanlı örnekleme çalışmalarında (1994) ve sonraki öğrenici türleri arasındaki ampirik karşılaştırmalarda yer almıştır.
Ne zaman kullanılır?
Etiketlenmiş eğitim verilerinin az olduğu veya elde edilmesinin pahalı olduğu, ancak çok sayıda etiketlenmemiş örneğin mevcut olduğu durumlarda aktif öğrenmeyi bir karar ağacıyla kullanın — örneğin tıbbi etiketleme, belge sınıflandırma veya sensör arızası tespiti görevlerinde. Karar ağacı tabanı, etiketleme verimliliğinin yanı sıra nihai modelin yorumlanabilirliğinin gerekli olduğu durumlarda özellikle uygundur. Tüm veri kümesinin ucuz bir şekilde etiketlenebildiği (pasif öğrenme yeterlidir), etiketlenmiş havuzun zaten büyük olduğu (yüzlerce veya binlerce), özellik uzayının çok yüksek boyutlu olduğu (gradyan artırma veya sinirsel aktif öğreniciler daha iyi performans gösterir) veya çok büyük veri kümeleri için iterasyon başına yeniden eğitim maliyetinin karşılanamaz olduğu durumlarda bu yaklaşımdan kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Etiketlenmemiş havuz çok büyük olduğunda sorgu stratejisi ve ağaç yeniden eğitimi birlikte hesaplama açısından maliyetli olabilir.
- Karar ağaçları yüksek varyanslı öğrenicilerdir; az sayıda başlangıç etiketiyle, erken ağaç güvenilmez olabilir ve bu da kötü erken sorgulara yol açabilir.
- Performans tavanı, aynı etiketli bütçe üzerinde rastgele orman veya gradyan artırma gibi topluluk yöntemlerinden daha düşüktür.
- Oracle etiketlerinin doğru olduğunu varsayar; gürültülü veya tutarsız etiketler, aktif döngüyü pasif öğrenmeden daha hızlı bozabilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Rastgele örneklemeye kıyasla hedef doğruluğa ulaşmak için gereken etiket sayısını önemli ölçüde azaltır.
- Karar ağacı taban modeli insan tarafından yorumlanabilir, bu da onu düzenlenmiş veya açıklama gerektiren alanlar için uygun kılar.
- Özellik ölçeklendirme gerektirmeyen, orta boyutlu tablo veri kümelerinde karışık özellik türleriyle iyi çalışır.
- Belirsizlik tabanlı sorgu stratejilerinin uygulanması ve paydaşlara açıklanması kolaydır.
- Her iterasyondan sonra kutu dışı (out-of-bag) veya doğrulama kümesi doğruluğu şeffaf bir öğrenme eğrisi sağlar.
Uygulama alanları
- Uzman etiketleme süresinin sınırlı olduğu tıbbi görüntü veya kayıt etiketleme.
- Az sayıda etiketlenmiş belge ve büyük bir etiketlenmemiş metin kümesiyle metin sınıflandırma.
- Yüksek etiketleme maliyetleriyle sensör ve endüstriyel arıza tespiti.
- Alan doğrulaması pahalı olan ekolojik veya uzaktan algılama veri kümeleri.
- Yalnızca işlemlerin küçük bir kısmının manuel olarak incelenebildiği dolandırıcılık tespiti işlem hatları.
Nasıl çalışır?
Nasıl çalışır?
Süreci başlatmak için az sayıda etiketlenmiş örnekten oluşan küçük bir başlangıç kümesi ve ayrıca çok sayıda etiketlenmemiş örnek toplanır. Etiketlenmiş küme, aktif döngü başlamadan önce beklenen her sınıftan en az bir örneğin bulunduğundan emin olmak için genellikle rastgele veya katmanlı örnekleme yoluyla seçilir.
Mevcut etiketlenmiş küme üzerinde bir karar ağacı sınıflandırıcısı (tipik olarak CART veya C4.5) eğitilir. Ağaç, her düğümde safsızlığı (Gini veya entropi) en aza indiren bölme kuralları öğrenir ve herhangi bir etiketlenmemiş örnek için sınıf olasılığı tahminleri de üretebilen bir sınıflandırıcı oluşturur.
Bilgililik ölçütü — en yaygın olarak tahmin entropisi H'ye veya en üst iki sınıf olasılığı arasındaki farka dayalı belirsizlik örneklemesi — her etiketlenmemiş örneği puanlar. En yüksek belirsizlik puanına sahip örnek sorgu olarak seçilir: x* = argmax H(y-hat | x).
Formül
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)Seçilen örnek bir oracle'a (insan etiketleyici veya otomatik etiketleme mekanizması) etiketlenmesi için sunulur. Gerçek etiketi etiketlenmiş eğitim kümesine eklenir ve etiketlenmemiş havuz birden azalır. Bu adım, gerçek uygulamalardaki kritik darboğazdır ve etiketleyicinin güvenilirliği denetlenmelidir.
Karar ağacı, genişletilmiş etiketlenmiş küme üzerinde sıfırdan yeniden eğitilir ve sorgu-puanlama-etiketleme döngüsü tekrarlanır. Durdurma kriterleri arasında etiketleme bütçesine ulaşılması, tutulmuş bir doğrulama kümesi üzerinde minimum doğruluk eşiği veya maksimum iterasyon sayısı yer alır. Nihai değerlendirme, tamamen bağımsız bir test kümesi kullanılarak yapılmalıdır.
Sık yapılan hatalar
- Sorgu stratejisini yönlendirmek için test kümesinin kullanılması, bilgi sızdırır ve değerlendirme metriklerini şişirir.
- Sabit bir rastgele tohum ayarlamamak, etiketleme sırasını ve sonuçları çalıştırmalar arasında tekrarlanamaz hale getirir.
- Başlangıç tohum kümesindeki sınıf dengesizliğini göz ardı etmek, ağacın çoğunluk sınıfından baskın olarak sorgulama yapmasına neden olur.
- Döngüyü bağımsız bir doğrulama kümesi yerine eğitim doğruluğuna dayanarak çok erken durdurmak.
- Nihai aktif öğrenme doğruluğunu, etiket sayısını bildirmeden tam denetimli bir temel çizgiyle karşılaştırılabilir olarak ele almak.
Sık sorulan sorular
Neden temel öğrenici olarak daha güçlü bir model yerine bir karar ağacı kullanmalı?
Karar ağaçları her iterasyonda hızlı bir şekilde yeniden eğitilir ve belirsizlik puanlaması için gereken olasılık tahminlerini üretir. Yorumlanabilirlikleri, nihai modelin açıklanmasını gerektiren alanlarda da önemlidir. Maksimum doğruluk için, yorumlanabilirlik maliyetiyle birlikte rastgele orman veya gradyan artırma aktif öğrenicisi tercih edilebilir.
Başlamak için kaç tane başlangıç etiketli örneğe ihtiyacım var?
Yaygın bir kural, ağacın anlamlı bölmeler yapabilmesini sağlamak için her sınıf için en az bir veya iki örnektir. Pratikte, 5-20 etiketlenmiş örnekle başlamak tipiktir; bundan daha azı, anlamlı belirsizlik puanları üretemeyecek kadar bozuk bir başlangıç ağacı riski taşır.
Sorguların sırası önemli mi?
Evet. Sorgu dizisi yola bağlıdır: erken sorgular ağacın ne öğrendiğini ve dolayısıyla hangi sonraki örneklerin en belirsiz göründüğünü şekillendirir. Farklı rastgele tohumlar veya başlangıç etiketli kümeler önemli ölçüde farklı öğrenme eğrilerine yol açabilir, bu nedenle stratejileri karşılaştırırken çalıştırmalar arasında tohumlar üzerinden deneyleri tekrarlayın.
Ne zaman sorgulama yapmayı bırakmalıyım?
Etiketleme bütçesini önceden tanımlayın veya doğrulama doğruluğunu izleyin ve yeni etiket başına iyileşme bir eşiğin altına düştüğünde durun. Veri sızdırmayı oluşturduğu için test kümesini asla durdurma kriteri olarak kullanmayın.
Bu yaklaşımı çok sınıflı problemlerle kullanabilir miyim?
Evet. Entropi tabanlı belirsizlik örneklemesi, çoklu sınıflara doğal olarak genelleştirilir. Ağır dengesiz çok sınıflı durumlar için, maliyet-duyarlı veya sınıf ağırlıklı karar ağaçlarını düşünün ve başlangıç tohum kümesinin tüm sınıfları kapsadığından emin olun.
İlgili yöntemler
Kaynaklar
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
Yayın kaynağını açKopyalandı.Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.
ISBN: 978-0-412-04841-8Kopyalandı.