İçeriğe atla
Arama sonuçlarına dön

Düzenlileştirilmiş Lojistik Regresyon

Ortaya koyan
Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
Yıl
1996–2005
Tür
Penalized classification model
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Düzenlileştirilmiş lojistik regresyon, standart lojistik regresyonu, log-olasılığa bir L1 (lasso), L2 (ridge) veya elastik net cezası ekleyerek genişletir, katsayıları sıfıra doğru küçültür ve aşırı uyumu önler.

Yüksek boyutlu veya koliner özellik uzaylarında yorumlanabilir, seyrek veya kararlı katsayı tahminleri istediğinizde ikili veya çok terimli sınıflandırma için varsayılan tercihtir.

Yöntemin mantığı

Standart lojistik regresyon, gözlemlenen sınıf etiketlerinin olasılığını maksimize eder. Yüksek boyutlu ayarlarda — çok sayıda özellik, az sayıda gözlem veya ilişkili öngörücüler — tahmin edilen katsayılar patlayabilir veya çılgınca dalgalanabilir, bu da zayıf genellemeye neden olur. Düzenlileştirme, katsayı büyüklüklerini, katsayı büyüklüğüyle büyüyen bir ceza ekleyerek sınırlar, çok daha iyi genelleme için eğitim kümesi uyumundan küçük bir miktar fedakarlık eder. L1 cezası bazı katsayıları tam olarak sıfıra çeker (otomatik özellik seçimi), L2 cezası tüm katsayıları sıfırlamadan yumuşak bir şekilde küçültür ve elastik net her iki davranışı da harmanlar.

Tarih

Ridge regresyonu 1970'te Hoerl ve Kennard tarafından biçimlendirilmiş ve lojistik regresyon dahil genelleştirilmiş doğrusal modellere uygulanmıştır. Tibshirani'nin 1996 tarihli lasso makalesi, yüksek boyutlu modellemeyi dönüştüren seyrek çözümlerle L1 düzenlileştirmesini tanıttı. Zou ve Hastie (2005), gruplanmış ilişkili özelliklerle ilgili lasso'nun sınırlamasını ele alarak her iki cezayı da elastik net içine birleştirdi. Bugün, düzenlileştirilmiş lojistik regresyon, scikit-learn, glmnet (R) ve LIBLINEAR'da temel bir algoritmadır ve biyomedikal ve NLP uygulamalarında rutin olarak referans sınıflandırıcı olarak kullanılır.

Ne zaman kullanılır?

Yorumlanabilir olasılıksal çıktılara, özellik sayısı örneklem boyutuna göre büyük olduğunda veya öngörücüler ilişkili olduğunda ikili veya çok terimli sınıflandırma için düzenlileştirilmiş lojistik regresyon kullanın. Klinik tahmin, kelime torbası özellikleriyle metin sınıflandırması ve yüksek boyutlu biyobelirteç çalışmalarında tercih edilen başlangıç modelidir. Otomatik özellik seçimi gerektiğinde L1'i, kararlı katsayı tahmini için L2'yi ve ilişkili gruplar halinde özellikler geldiğinde elastik neti seçin. Sonuç-özellik ilişkisinin yüksek derecede doğrusal olmadığı veya doğrusal log-olasılık formülasyonunun yakalayamayacağı güçlü etkileşim etkilerinin olduğu durumlarda bundan kaçının; ağaç toplulukları veya çekirdek yöntemleri o zaman daha uygun olabilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Özellikler ve log-olasılıklar arasında doğrusal bir ilişki olduğunu varsayar; manuel özellik mühendisliği olmadan doğrusal olmayan veya etkileşim etkilerini yakalayamaz.
  • Sonucun kategorik olmasını gerektirir; sürekli sonuçlar doğrusal (lojistik değil) regresyon gerektirir.
  • Modelin log-olasılıklarda toplamsal olması nedeniyle, ilgili özelliklerin güçlü bir şekilde etkileşime girdiği durumlarda performans düşer.
  • Optimal lambda, çapraz doğrulama ile seçilmelidir, bu da hesaplama ve bir ayarlama adımı ekler.
  • Aşırı sınıf dengesiz veriler, yeniden ağırlıklandırma olmadan tahmin edilen olasılıkları çoğunluk sınıfına doğru yanlı hale getirebilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Çoğu kara kutu sınıflandırıcıların aksine, kalibre edilmiş sınıf olasılıkları ve yorumlanabilir, işaretli katsayılar üretir.
  • L1 cezası, ilgisiz özellikleri sıfırlayarak otomatik özellik seçimi yapar, raporlanması kolay seyrek modeller sunar.
  • Katsayı küçültme yoluyla yüksek boyutlu özellik uzaylarını (p >> n) sağlam bir şekilde ele alır.
  • Elastik net cezası, ilişkili öngörücülere ağırlık yayarak ilişkili özellik gruplarını zarifçe ele alır.
  • Koordinat inişi çözücüleri kullanılarak büyük veri kümelerinde bile uyum sağlamak çok hızlıdır; milyonlarca gözleme ölçeklenir.

Uygulama alanları

  • Yüksek boyutlu biyobelirteç panellerinden klinik risk skorları ve tanı sınıflandırıcıları.
  • Kelime torbası veya TF-IDF özellikleriyle metin sınıflandırması, burada L1, yorumlanabilir seyrek kelime ağırlıkları üretir.
  • Özellik sayısı örneklem boyutunu büyük ölçüde aştığı genomik ve proteomik.
  • Eşik tabanlı kararlar için olasılık çıktıları gerektiren kredi puanlaması ve dolandırıcılık tespiti.
  • Daha karmaşık topluluk veya derin öğrenme modellerini değerlendirmeden önce temel sınıflandırma referansı.

Nasıl çalışır?

Nasıl çalışır?

1

Özelliklerin doğrusal bir kombinasyonu, pozitif sınıfın log-olasılığını öngörür. Sigmoid fonksiyon, log-olasılıkları 0 ile 1 arasındaki bir olasılığa dönüştürür, çıktıyı doğrudan sınıf olasılığı olarak yorumlanabilir hale getirir.

Formül
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}
2

Optimizasyon hedefi, negatif log-olasılık (çapraz entropi) artı bir ceza terimidir. Ceza, hiperparametre lambda (güç) ve alpha (L1/L2 karışımı) tarafından kontrol edilen katsayı büyüklükleriyle ölçeklenir. Daha büyük bir lambda daha ağır küçülme uygular; alpha=1 saf lasso verir, alpha=0 saf ridge verir.

Formül
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]
3

Ceza seçimi davranışı belirler: L1 (lasso), ilgisiz özellikleri sıfırlayarak seyrek çözümler üretir ve özellik seçimi istendiğinde tercih edilir. L2 (ridge), tüm özelliklerin katkıda bulunması beklendiğinde ve kolinerlik yüksek olduğunda tercih edilir. Elastik net (0 ile 1 arasında alpha), gruplanmış ilişkili özellikleri tek başına lassodan daha iyi ele alır.

4

Cezalı kayıp, koordinat inişi (scikit-learn'in liblinear/saga çözücüleri) gibi iteratif algoritmalar kullanılarak minimize edilir. Optimal lambda, tipik olarak logaritmik bir grid üzerinde çapraz doğrulama ile belirlenir. Uyum sağlamadan önce özellikleri standartlaştırmak esastır, böylece ceza tüm öngörücülerde tutarlı bir şekilde uygulanır.

5

Tahmin edilen olasılıklar, tipik olarak varsayılan olarak 0.5 olan bir karar eşiği kullanılarak sınıf etiketlerine dönüştürülür. Dengesiz ayarlarda, eşik, uygulamanın maliyet yapısına göre hassasiyet ve geri çağırmayı dengelemek için ayarlanmalıdır.

Formül
\hat{y} = \mathbf{1}[\hat{p} \ge t]

Sık yapılan hatalar

  • Özellikleri standartlaştırmadan uyum sağlama: ceza tüm katsayıları eşit şekilde ele alır, bu nedenle farklı ölçeklerdeki özellikler, çözeltiyi bozarak, orantısız küçülme alır.
  • Varsayılan 0.5 eşiğini, kalibrasyonu ve sınıf dengesini kontrol etmeden kullanmak, azınlık sınıfındaki geri çağırmayı sessizce düşürür.
  • Yalnızca doğruluğu bildirmek yerine AUC, F1 ve kalibrasyon metriklerini bildirmek, azınlık sınıfındaki zayıf performansı gizler.
  • Lambda seçimi için çapraz doğrulamayı atlamak ve bunun yerine eğitim verilerinde değerlendirmek, aşırı uyumlu modellere yol açar.
  • Lasso tarafından seçilen katsayıları, eksik değişken yanlılığını ve karar sınırı yakınındaki değişken seçiminin kararsızlığını hesaba katmadan nedensel olarak yorumlamak.

Sık sorulan sorular

L1, L2 ve elastik net arasında nasıl seçim yapmalıyım?

Özelliklerin yalnızca bir alt kümesinin ilgili olduğuna inanıyorsanız ve otomatik seçim istiyorsanız L1'i kullanın. Tüm özelliklerin katkıda bulunması muhtemelse veya öngörücüler yüksek derecede ilişkiliyse, ridge'in ilişkili gruplar arasında ağırlık dağıttığı için L2'yi kullanın. Seyreklik istiyorsanız ancak ilişkili özellik bloklarınız da varsa elastik neti kullanın; iç içe çapraz doğrulama ile alpha'yı lambda ile birlikte ayarlayın.

Uyum sağlamadan önce özellikleri standartlaştırmam gerekir mi?

Evet, her zaman. Ceza terimi tüm katsayıları eşit şekilde ele alır, bu nedenle büyük sayısal değerlere sahip bir özellik, standartlaştırılmadıkça orantılı olarak daha az küçülme alacaktır. Uyum sağlamadan önce her özelliği sıfır ortalama ve birim varyansa merkezleyin ve ölçeklendirin ve aynı dönüşümü test verilerine uygulayın.

Lambda nasıl seçilir?

Lambda, tipik olarak logaritmik bir grid üzerinde k-katlı (k=5 veya 10) çapraz doğrulama ile seçilen bir hiperparametredir. R'nin glmnet'inde cv.glmnet bunu otomatikleştirir. Scikit-learn'de, LogisticRegressionCV veya çapraz doğrulama ile GridSearchCV, düzenlileştirme gücünün tersi C (C=1/lambda) üzerinde kullanılmalıdır.

Düzenlileştirilmiş lojistik regresyon kalibre edilmiş olasılıklar verir mi?

Genellikle evet, ağaç topluluklarından daha iyi, çünkü lojistik regresyon sınıf olasılıklarını doğrudan sigmoid aracılığıyla modeller. Ancak, aşırı düzenlileştirme tahmin edilen olasılıkları 0.5'e doğru sıkıştırabilir. Gerekirse Platt ölçekleme veya izotonik regresyon ile yeniden kalibre edilebilir.

Sınıf dengesizliğini nasıl ele alırım?

Azınlık sınıfı gözlemlerine daha yüksek kayıp ağırlığı verilecek şekilde class_weight='balanced' (scikit-learn) ayarlayın veya eğitim setini manuel olarak yeniden örnekleyin. Ayrıca, karar eşiğini 0.5'te sabitlemek yerine hassasiyet-geri çağırma eğrisini kullanarak ayarlayın.

İlgili yöntemler

Kaynaklar

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    DOI kaynağını aç
    Kopyalandı.
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.

    ISBN: 978-0-387-84857-0
    Kopyalandı.