Lojistik Regresyon (YZ)
- Ortaya koyan
- Cox, D. R.
- Yıl
- 1958
- Tür
- Probabilistic linear classifier
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Lojistik regresyon, ikili (veya çok terimli) bir sonucun log-olasılıklarını öngörücülere doğrusal bir fonksiyon olarak modelleyen temel bir olasılıksal sınıflandırıcıdır.
D. R. Cox tarafından 1958'de tanıtılan bu yöntem, istatistik ve makine öğrenmesi alanlarında en yaygın kullanılan ve yorumlanabilir sınıflandırma yöntemlerinden biri olmaya devam etmektedir; kalibre edilmiş olasılık çıktıları ve net katsayı yorumlaması nedeniyle değerlidir.
Yöntemin mantığı
Lojistik regresyon şu soruyu sorar: belirli özellikler verildiğinde, bir gözlemin belirli bir sınıfa ait olma olasılığı nedir? Sonucun log-olasılıklarına düz bir çizgi uydurur, ardından bu doğrusal skoru 0 ile 1 arasında bir olasılık üretmek için bir sigmoid (S şeklinde) eğri aracılığıyla sıkıştırır. Her bir öngörücünün katsayısı, o özellikteki bir birimlik değişimin pozitif sınıfın log-olasılığını nasıl değiştirdiğini doğrudan size söyler, bu da modeli oldukça şeffaf hale getirir. 0.5'in üzerindeki bir tahmin edilen olasılık pozitif sınıf olarak sınıflandırılır, ancak bu eşik ayarlanabilir.
Tarih
David Cox, 1958'de ikili sonuçlar için lojistik regresyonu resmileştirdi ve probit modeller üzerine önceki çalışmaları genişletti. 1970'ler-1980'ler boyunca epidemiyoloji ve sosyal bilimlerde standart sınıflandırıcı haline geldi. Çok terimli sonuçlara ve düzenlileştirilmiş varyantlara genişletilen maksimum olabilirlik çerçevesi, Tibshirani'nin Lasso'su (1996) ve Hastie, Tibshirani ve Friedman'ın The Elements of Statistical Learning'i (2001) tarafından pekiştirildi. Bugün hala kanonik yorumlanabilir sınıflandırıcı olmaya devam etmektedir ve birçok hakemli kılavuzda zorunlu temel oluşturmaktadır.
Ne zaman kullanılır?
Sonuç ikili veya kategorik olduğunda, örneklem büyüklüğü en az orta düzeyde olduğunda (bir kural olarak öngörücü başına en az 10 olay), ve yorumlanabilir katsayılar veya kalibre edilmiş olasılıklar gerektiğinde lojistik regresyonu kullanın. Sosyal bilimler, tıp ve epidemiyoloji alanlarında varsayılan temel sınıflandırıcıdır ve daha karmaşık modellerden önce denenmelidir. Karar sınırı güçlü bir şekilde doğrusal olmayan olduğunda, birçok etkileşim terimi gerektiğinde veya karmaşık tablo verilerinde tahmin doğruluğu yorumlanabilirlikten daha önemli olduğunda kaçının — bu durumlarda ağaç tabanlı topluluklar veya SVM'ler tipik olarak daha iyi performans gösterir.
Sınırlar ve dikkat edilmesi gerekenler
- Özellikler ile sonucun log-olasılığı arasında doğrusal bir ilişki olduğunu varsayar; doğrusal olmayan desenler manuel özellik mühendisliği veya doğrusal olmayan bir model gerektirir.
- Öngörücüler arasındaki çoklu doğrusallığa duyarlıdır: ilişkili özellikler katsayı standart hatalarını şişirir ve tahminleri dengesizleştirir.
- Öngörücü başına makul sayıda olay gerektirir (kural olarak: en az 10); seyrek sonuç sınıfları yakınsama sorunlarına ve aşırı uyuma neden olur.
- Birçok etkileşim içeren karmaşık tablo verilerinde topluluk yöntemlerinden (rastgele orman, gradyan artırma) daha düşük performans gösterebilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Sadece etiketler değil, sıralama ve karar eşikleme için doğrudan kullanılabilen kalibre edilmiş sınıf olasılıkları üretir.
- Katsayılar, klinik, sosyal bilimler ve politika araştırmalarında beklenen standartları karşılayan log-olasılık oranları olarak yorumlanabilir.
- Büyük veri kümelerinde bile hesaplama açısından hızlı ve bellek açısından verimlidir.
- Düzenlileştirilmiş varyantlar (Ridge, Lasso, Elastic Net) yüksek boyutlu özellikleri ele alır ve otomatik özellik seçimi yapar.
- Ayrımcı analize göre varsayım açısından hafiftir: öngörücülerin çok değişkenli normalliğini gerektirmez.
- Sağlam ve iyi anlaşılmış; karmaşık modellerin karşılaştırılması gereken güçlü, güvenilir bir temel oluşturur.
Uygulama alanları
- Hastalık teşhisi ve klinik risk skorlaması (örn. yeniden yatış veya mortaliteyi tahmin etme).
- Finansta kredi riski ve dolandırıcılık tespiti.
- Sosyal bilimler ve epidemiyolojide ikili anket yanıtı modellemesi.
- Hızlı, yorumlanabilir bir metin temeli olarak spam ve duygu sınıflandırması.
- Daha karmaşık topluluk modellerini dağıtmadan önce temel sınıflandırıcı.
Nasıl çalışır?
Nasıl çalışır?
Tüm girdi özelliklerinin ağırlıklı bir toplamı hesaplanır. Her özellik, verilerden öğrenilen bir katsayı (ağırlık) alır; kesişim, tüm özellikler sıfır olduğunda temel log-olasılığını yakalar. Bu, doğrusal regresyonla aynı biçimdedir ancak çıktı, doğrudan sayısal bir tahmin yerine bir log-olasılık skoru olarak yorumlanır.
Formül
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
Doğrusal skor, herhangi bir gerçek sayıyı (0, 1) açık aralığına eşleyen sigmoid fonksiyonu tarafından dönüştürülür. Bu, iyi kalibre edilmiş bir sınıf olasılığı verir. Çok sınıflı problemler için softmax fonksiyonu, tüm sınıflar üzerinde bir olasılık dağılımı üretmek için bu adımı genelleştirir.
Formül
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}Model parametreleri, gözlemlenen etiketlerin tahmin edilen olasılıklara göre log-olabilirliklerinin maksimize edilmesiyle tahmin edilir. Bu, ikili çapraz entropi kaybını minimize etmeye eşdeğerdir. Sıradan en küçük kareler yönteminin aksine, kapalı form çözümü yoktur: iteratif bir optimizasyon algoritması (tipik olarak Newton–Raphson veya gradyan inişi) kullanılır.
Formül
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]Bir iteratif çözücü — L-BFGS, Newton–Raphson veya stokastik gradyan inişi gibi — katsayı vektörünü yakınsama sağlanana kadar günceller. Katsayıları küçültmek, aşırı uyumu önlemek ve otomatik özellik seçimi (L1 / Lasso) sağlamak için amaç fonksiyonuna düzenlileştirme terimleri (L1 veya L2) eklenebilir.
Uydurulan olasılık, bir sınıf etiketi atamak için bir sınıflandırma eşiği (varsayılan 0.5) ile karşılaştırılır. Dengesiz ayarlarda veya yanlış pozitif ve yanlış negatif maliyetler farklı olduğunda, bu eşik 0.5'te bırakılmak yerine bir hassasiyet-geri çağırma eğrisi veya ROC analizi kullanılarak ayarlanmalıdır.
Formül
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]Sık yapılan hatalar
- Eğitim/test ayırma veya çapraz doğrulama atlayıp eğitim verileri üzerinde değerlendirme yaparak görünen performansı şişirme.
- Dengesiz sınıflarla tek metrik olarak doğruluk kullanmak yerine AUC-ROC, F1 ve bir karışıklık matrisi raporlama.
- Doğrusallık varsayımını göz ardı ederek ve tanısal kontroller olmadan güçlü bir şekilde doğrusal olmayan sınıf sınırlarına sahip verilere lojistik regresyon uygulama.
- Öngörücü sayısı örneklem büyüklüğüne göre büyük olduğunda düzenlileştirme uygulamamak, aşırı uyuma yol açar.
- Katsayı büyüklüklerini yorumlamadan önce çoklu doğrusallığı (VIF aracılığıyla) kontrol etmeme.
Sık sorulan sorular
Lojistik regresyonu rastgele ormana ne zaman tercih etmeliyim?
Kalibre edilmiş olasılıklara, yorumlanabilir katsayılara ihtiyaç duyduğunuzda veya klinik denemeler veya politika değerlendirmeleri gibi açık olasılık oranları gerektiren raporlama standartlarını karşılamanız gerektiğinde. Rastgele orman tipik olarak daha yüksek tahmin doğruluğu elde eder ancak doğrudan katsayı yorumlaması sağlamaz.
Kaç gözleme ihtiyacım var?
Yaygın olarak atıfta bulunulan bir kural, öngörücü değişken başına en az 10 olaydır (pozitif sonuçlar). Daha az olay olduğunda, parametre tahminleri kararsızlaşır ve güven aralıkları güvenilmez hale gelir. Düzenlileştirme veya cezalandırılmış olabilirlik, kullanılabilir aralığı bir miktar genişletebilir.
Özelliklerimi standartlaştırmalı mıyım?
Tahmin için özelliklerin standartlaştırılması gerekli değildir, ancak katsayı büyüklüklerini öngörücüler arasında karşılaştırırken veya düzenlileştirme (L1 veya L2) kullanırken önemlidir, çünkü cezalar tüm katsayıları aynı ölçekte ele alır.
İkili ve çok terimli lojistik regresyon arasındaki fark nedir?
İkili lojistik regresyon, sigmoid fonksiyonunu kullanarak iki sınıflı bir sonucu modeller. Çok terimli (softmax) lojistik regresyon, bunu üç veya daha fazla sırasız sınıf için genelleştirir ve her sınıf için bir referans sınıfa göre bir katsayı seti tahmin eder.
Sınıf dengesizliğiyle nasıl başa çıkarım?
Kayıp fonksiyonunu yeniden ağırlıklandırmak için scikit-learn'de class_weight='balanced' ayarlayın veya azınlık sınıfını aşırı örnekleyin (SMOTE). Doğruluk yerine her zaman AUC-ROC ve hassasiyet-geri çağırma eğrileri ile değerlendirin ve sınıflandırma eşiğini bir doğrulama kümesinde ayarlayın.
İlgili yöntemler
Kaynaklar
Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.
DOI kaynağını açKopyalandı.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.
ISBN: 978-1-4614-7138-7Kopyalandı.