Yarı denetimli Lojistik Regresyon
- Ortaya koyan
- Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
- Yıl
- 1995–2000
- Tür
- Semi-supervised classifier
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Yarı denetimli lojistik regresyon, eğitim sırasında etiketlenmemiş verileri dahil ederek standart lojistik sınıflandırıcıyı genişletir.
Öz-eğitim, beklendik-maksimizasyon veya etiket-yayılma sarmalayıcılarını kullanarak, etiketlenmemiş örneklere iteratif olarak yumuşak etiketler atar ve model parametrelerini iyileştirir, bu da etiketli verilerin tüm veri kümesine oranla kıt olduğu durumlarda genellemeyi iyileştirir.
Yöntemin mantığı
Sadece 50 doğrulanmış teşhisle ancak sonucu bilinmeyen 5.000 hasta kaydıyla bir hastalık sınıflandırıcısı eğittiğinizi düşünün. Standart lojistik regresyon, etiketlenmemiş kayıtları tamamen göz ardı eder. Yarı denetimli lojistik regresyon, modelin kendi olasılıksal tahminlerini kullanarak etiketlenmemiş vakalara geçici etiketler atar, genişletilmiş sözde-etiketli küme üzerinde yeniden eğitir ve tekrarlar. Her iterasyon, karar sınırını yüksek veri yoğunluğu bölgelerine doğru itererek, pahalı uzman etiketlemesi gerektirmeden etiketlenmemiş verilerin sınırın nereye ait olduğunu yönlendirmesine olanak tanır.
Tarih
Olasılıksal sınıflandırıcılar için yarı denetimli öğrenme 1990'ların sonlarında sistematikleştirildi. Yarowsky (1995) NLP görevleri için öz-eğitimi popülerleştirdi ve Nigam vd. (2000) naif Bayes ve lojistik benzeri modellerle metin sınıflandırması için EM yaklaşımını biçimlendirdi. Chapelle, Scholkopf ve Zien'in 2006 MIT Press cilti teorik temelleri pekiştirdi. Yarı denetimli lojistik regresyon, etiketleme bütçelerinin sınırlı olduğu durumlarda artık standart bir tekniktir, scikit-learn'in SelfTrainingClassifier sarmalayıcısında ve özel SSL kütüphanelerinde uygulanmıştır.
Ne zaman kullanılır?
Etiketli örneklerin az olduğu — tipik olarak etiketli kesrin toplam mevcut verinin %20'sinin altında olduğu — ancak aynı dağılımdan büyük bir etiketlenmemiş veri havuzunun bulunduğu ve etiketlemenin pahalı olduğu durumlarda yarı denetimli lojistik regresyonu seçin. Metin sınıflandırma, klinik sonuç tahmini ve kısmen gözlemlenen sonuçların olduğu anket araştırmaları için uygundur. Etiketlenmemiş veriler etiketli kümeden farklı bir dağılımdan geliyorsa (kovaryant kayması), etiketler rastgele değilse ve eksiklik bilgilendirici ise veya etiketli küme zaten standart bir lojistik regresyonun iyi performans gösterdiği kadar büyükse kullanmayın — bu durumlarda, sözde-etiket gürültüsü faydadan çok zarar verir.
Sınırlar ve dikkat edilmesi gerekenler
- İlk etiketli veriler çok az veya temsilci değilse, erken sözde-etiketler gürültülüdür ve hatalar iterasyonlar boyunca birikir.
- Etiketlenmemiş verilerin etiketli verilerle aynı dağılımdan çekildiği varsayılır — birçok gerçek dünya toplama senaryosunda ihlal edilir.
- Denetimli tabanın üzerine çıkacak yerel bir optimuma yakınsama garanti edilmez.
- Öz-eğitimdeki güven eşikleri ayarlanmalıdır ve sınıf dengesizliği ile öngörülemeyen şekillerde etkileşime girer.
- Etkin eğitim kümesi algoritmik olarak oluşturulmuş etiketleri içerdiğinden, katsayıların yorumlanması zorlaşır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Ek etiketleme maliyeti olmadan bir lojistik sınıflandırıcıyı iyileştirmek için büyük etiketlenmemiş veri havuzlarından yararlanır.
- Lojistik regresyon katsayılarının ve oran oranlarının yorumlanabilirliğini korur.
- Öz-eğitim sarmalayıcısı modelden bağımsızdır ve mevcut herhangi bir lojistik regresyon işlem hattına eklenmesi kolaydır.
- EM varyantı, biçimsel bir yakınsama garantisi ile ilkeli bir olasılıksal çerçeve sunar.
- Düzenlileştirme (L1/L2), sözde-etiketli verilerde aşırı uyumu kontrol etmek için doğrudan birleştirilebilir.
Uygulama alanları
- Sadece hastaların bir alt kümesinin doğrulanmış teşhislerinin olduğu klinik sonuç tahmini.
- Büyük derlemeler ve küçük uzman etiketli eğitim kümeleriyle metin sınıflandırma.
- Katılımcıların sadece sonuç sorularının bir alt kümesini yanıtladığı anket araştırmaları.
- Kısmen etiketlenmiş sosyal medya verileriyle duygu analizi ve görüş madenciliği.
- Doğrulanmış dolandırıcılık vakalarının nadir olduğu ancak işlem hacimlerinin büyük olduğu dolandırıcılık tespiti.
- Radyolog etiketlerinin taramaların bir alt kümesi için mevcut olduğu tıbbi görüntüleme çalışmaları.
Nasıl çalışır?
Nasıl çalışır?
Mevcut etiketli örneklere standart bir lojistik regresyon modeli uydurulur. Bu, başlangıç katsayı tahminleri ve her gözlem için sınıf-olasılık tahminleri sağlar. Az sayıda etiketle bile, bu sıcak başlangıç, sonraki iterasyonların iyileştireceği makul bir başlangıç karar sınırı üretir.
Eğitilmiş model, her etiketlenmemiş örneği puanlar ve her sınıf için P(y=k | x) son olasılığını üretir. Öz-eğitimde, maksimum olasılığı bir güven eşiğini aşan örnekler, sert bir sözde-etiket ile etiketlenir. EM tabanlı yaklaşımlarda, sert bir sınıf yerine yumuşak kesirli üyelikler atanır, bu da belirsizliği tüm süreç boyunca açık tutar.
Formül
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)Lojistik regresyon, hem gerçek etiketli örnekler hem de sözde-etiketli (veya yumuşak etiketli) etiketlenmemiş örneklerden oluşan birleşik küme üzerinde yeniden uydurulur. Genişletilmiş veri kümesinin katsayıları gürültülü sözde-etiket sinyaline doğru çok agresif bir şekilde yönlendirmesini önlemek için L1 veya L2 düzenlileştirmesi uygulanır.
Etiketlenmemiş verileri puanlama ve yeniden eğitme adımları, yakınsama sağlanana kadar tekrarlanır — tipik olarak iterasyonlar arasındaki log-olabilirlik veya katsayı değerlerindeki değişim küçük bir toleransın altına düştüğünde. EM varyantı, biçimsel olarak bir E-adımı (beklenen etiketleri hesaplama) ve bir M-adımı (tam veri log-olabilirliğini maksimize etme) arasında gidip gelir.
Yakınsama sağlandıktan sonra, son model standart metrikler kullanılarak doğruluk, AUC ve F1 gibi doğruluk, AUC ve F1 gibi standart metrikler kullanılarak ayrılmış etiketli bir test kümesi üzerinde değerlendirilir. Etiket sızıntısını etiketlenmemiş havuzdan doğrulama tahminine önlemek için çapraz doğrulama yalnızca etiketli bölüm üzerinde yapılmalıdır.
Sık yapılan hatalar
- Dağılımsal bilgilerin sızmasıyla performans tahminlerini şişiren etiketlenmemiş örneklerin doğrulama veya test kümesine dahil edilmesi.
- Erken hataları birleştiren belirsiz sözde-etiketlerle eğitim kümesini dolduran düşük bir güven eşiği ayarlanması.
- Sözde-etiketler atanırken sınıf dengesizliğinin göz ardı edilmesi, çoğunluk sınıfının sonraki iterasyonlarda baskın olmasına neden olur.
- Sözde-etiketli verilerin, aşağı akış belirsizlik ölçümü veya anlamlılık testi için gerçek etiketli verilerle eşdeğer olarak ele alınması.
- Genişletilmiş eğitim kümesinde düzenlileştirmenin atlanması, sözde-etiket gürültüsünün aşırı uyuma yol açmasına izin verir.
Sık sorulan sorular
Yarı denetimli lojistik regresyon standart lojistik regresyondan nasıl farklıdır?
Standart lojistik regresyon yalnızca etiketli örnekleri kullanır. Yarı denetimli varyant, etiketlenmemiş verilere iteratif olarak geçici etiketler atar ve bunları yeniden eğitime dahil eder, böylece karar sınırı hem doğrulanmış etiketler hem de daha büyük etiketlenmemiş veri kümesinin yapısı tarafından şekillendirilir.
Öz-eğitim için hangi güven eşiğini kullanmalıyım?
İkili sınıflandırma için yaygın başlangıç noktaları 0.85–0.95'tir. Doğru eşik sınıf dengesine ve etiket kalitesine bağlıdır. Etiketli doğrulama kümesinde ayarlayın ve belirsiz sözde-etiketlerin selini önlemek için her iterasyonda eklenen etiketlenmemiş örneklerin oranını izleyin.
Katsayıları oran oranları olarak yorumlayabilir miyim?
Evet, ancak dikkatli olun. Tahmin edilen katsayılar log-oran yorumunu korur, ancak sözde-etiketli veriler gerçek gözlemler olarak ele alındığı için güven aralıkları hafife alınır. Anlamlılık hakkındaki çıkarımlar yalnızca gerçek etiketli bölüme dayanmalıdır.
Etiketlenmemiş verilerim farklı bir zaman diliminden veya kaynaktan gelirse ne olur?
Etiketli ve etiketlenmemiş kümeler arasındaki dağılım kayması ana hata modlarından biridir. Etiketlenmemiş veriler farklı bir popülasyondan veya dönemden geliyorsa, sözde-etiketler sistematik hataları pekiştirebilir. Devam etmeden önce kovaryant kaymasını kontrol edin.
Hazır bir uygulaması var mı?
Evet. scikit-learn'in SelfTrainingClassifier'ı, öz-eğitim için LogisticRegression dahil olmak üzere herhangi bir olasılıksal sınıflandırıcıyı sarmalar. EM varyantı, manuel uygulama veya SKSSL veya LASSL gibi özel SSL kütüphaneleri gerektirir.
İlgili yöntemler
Kaynaklar
Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.
DOI kaynağını açKopyalandı.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Kopyalandı.