İçeriğe atla
Arama sonuçlarına dön

Düzenlileştirilmiş Doğrusal Regresyon

Ortaya koyan
Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
Yıl
1970–2005
Tür
Penalized linear model
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Düzenlileştirilmiş doğrusal regresyon, sıradan en küçük kareler hedefine bir ceza terimi ekleyerek, aşırı uyumu azaltmak ve çoklu doğrusallıkla başa çıkmak için katsayıları küçültür veya sıfırlar.

Üç ana varyantı — Ridge (L2 cezası), Lasso (L1 cezası) ve Elastic Net (birleşik L1+L2) — özelliklerin gözlemlerden fazla olduğu veya tahmin edicilerin yüksek oranda ilişkili olduğu durumlarda bile doğrusal regresyonu kullanılabilir kılar.

Yöntemin mantığı

Sıradan en küçük kareler, her bir tahmin ediciye örnek içi hatayı minimize eden katsayıyı verir; bu durum, tahmin ediciler ilişkili olduğunda veya veri setinde çok sayıda özellik bulunduğunda aşırı derecede büyük, kararsız katsayılar üretebilir. Düzenlileştirme, bu katsayıları sıfıra doğru çeker — kararlı ama adil bir şekilde — böylece model, çok daha iyi genelleme karşılığında biraz eğitim doğruluğu kaybeder. Ridge, tüm katsayıları orantılı olarak küçültür; Lasso daha ileri gider ve bazılarını tam olarak sıfıra ayarlayarak etkili bir şekilde özellik seçimi yapar; Elastic Net her iki stratejiyi harmanlar ve ilişkili tahmin edicilerin bir arada tutulması gerektiğinde işe yarar.

Tarih

Ridge regresyonu, 1970 yılında Hoerl ve Kennard tarafından sıradan en küçük karelerdeki çoklu doğrusallık için bir çözüm olarak tanıtıldı. Tibshirani'nin 1996 tarihli Lasso makalesi, L1 düzenlileştirmesini ve katsayıları tam olarak sıfıra küçültme yeteneğini ekleyerek otomatik özellik seçimini mümkün kıldı. Zou ve Hastie, 2005 yılında Elastic Net ile bu fikirleri genişleterek, ilişkili tahmin edici gruplarını ele almak için L1 ve L2 cezalarını birleştirdi. Bu üç yöntem, doğrusal modeller için kanonik düzenlileştirme araç setini oluşturur ve Elements of Statistical Learning ile An Introduction to Statistical Learning kitaplarının temelini oluşturur.

Ne zaman kullanılır?

Birçok sayısal özellikten sürekli bir çıktıyı tahmin ederken ve en azından bir miktar çoklu doğrusallıktan şüphelenildiğinde veya özellik sayısı örneklem büyüklüğüne göre fazla olduğunda düzenlileştirilmiş doğrusal regresyon kullanın. Tüm özelliklerin makul bir şekilde ilgili olduğu durumlarda Ridge varsayılan seçimdir; otomatik özellik seçimi gerektiğinde Lasso veya Elastic Net kullanılır. Yalnızca özellikler az, ilişkisiz ve örneklem büyük olduğunda sıradan (cezalandırılmamış) doğrusal regresyonu tercih edin. Çıktı açıkça doğrusal olmadığında veya ikili ya da kategorik olduğunda herhangi bir doğrusal varyantı kullanmayın — bunun yerine lojistik regresyon veya ağaç tabanlı yöntemler kullanın.

Sınırlar ve dikkat edilmesi gerekenler

  • Özellikler ve sürekli hedef arasında doğrusal bir ilişki varsayar; özellikler manuel olarak tasarlanmadıkça doğrusal olmayan desenleri kaçırır.
  • Uyumdan önce özellik standardizasyonu zorunludur; bu adımı unutmak katsayı tahminlerini bozar.
  • Lasso, gerçekten ilgili birçok ilişkili tahmin edici olduğunda kötü performans gösterir — keyfi olarak birini seçer ve diğerlerini atar; bu durumda Elastic Net daha güvenli bir seçimdir.
  • Ridge tüm özellikleri korur ve seyrek bir model üretmez, bu da özellik uzayı çok yüksek boyutlu olduğunda yorumlamayı zorlaştırabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Açık etki büyüklükleri ve yönleri ile tamamen yorumlanabilir doğrusal katsayılar üretir.
  • Çoklu doğrusallığı zarif bir şekilde ele alır — Ridge, katsayıları ilişkili tahmin ediciler arasında yeniden dağıtır; Lasso, bir gruptan birini seçer.
  • Lasso ve Elastic Net, ilgisiz katsayıları tam olarak sıfıra ayarlayarak yerleşik özellik seçimi yapar.
  • Büyük veri setlerinde bile hesaplama açısından verimli; koordinat inişi ile milyonlarca gözleme ölçeklenebilir.
  • Çapraz doğrulanmış lambda seçimi, tüm büyük istatistiksel yazılımlarda (scikit-learn, glmnet, statsmodels) iyi desteklenir.

Uygulama alanları

  • Genomik ve biyoinformatik: p >> n olduğu durumlarda binlerce genetik belirteçten sürekli fenotipleri tahmin etmek.
  • Ekonomi ve sosyal bilimler: çoklu doğrusallığı kontrol ederken birçok politika değişkeninin sürekli sonuçlar üzerindeki etkilerini tahmin etmek.
  • Mühendislik: ilişkili ölçümlerle sensör dizilerinden fiziksel nicelikleri tahmin etmek.
  • Özellik seçimi hattı: Daha karmaşık bir model uyumlamadan önce küçük bir tahmin edici kümesi belirlemek için yukarı akışta Lasso veya Elastic Net kullanılır.
  • Finans: birçok makroekonomik ve piyasa faktöründen getirileri veya risk ölçütlerini tahmin etmek.
  • Sağlık hizmetleri: büyük laboratuvar değerleri panellerinden veya görüntüden türetilmiş özelliklerden sürekli klinik sonuçları tahmin etmek.

Nasıl çalışır?

Nasıl çalışır?

1

Uyumdan önce, tüm tahmin ediciler standardize edilir (ortalama sıfır, birim varyans). Bu zorunludur çünkü ceza her katsayıya eşit şekilde uygulanır — standardizasyon olmadan, daha büyük ölçeklerdeki özellikler daha ağır cezalandırılır ve katsayı tahminlerini bozar.

2

Uygulayıcı bir ceza türü seçer: Ridge, tüm katsayıları küçülten ancak hiçbirini sıfıra ayarlamayan kareli katsayılar toplamını (L2 normu) kullanır. Lasso, bazı katsayıları tam olarak sıfıra küçültebilen ve otomatik özellik seçimi yapabilen mutlak değerler toplamını (L1 normu) kullanır. Elastic Net, L1 ve L2'yi bir karıştırma parametresi alfa ile kontrol edilen doğrusal bir şekilde birleştirir ve özellikle birkaç ilişkili tahmin edicinin ilgili olduğu durumlarda kullanışlıdır.

Formül
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2
3

Model, cezalandırılmış hedefi — artık kareler toplamı artı düzenlileştirme gücü lambda ile ölçeklendirilmiş seçilen ceza — minimize eder. Ridge için bunun kapalı form bir çözümü vardır; Lasso ve Elastic Net, L1 cezasının sıfırda türevlenebilir olmaması nedeniyle koordinat-iniş veya alt-gradyan optimizasyonu gerektirir.

Formül
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]
4

Düzenlileştirme gücü lambda, çapraz doğrulama yoluyla, tipik olarak logaritmik bir ızgara üzerinde ayarlanması gereken bir hiperparametredir. Sıfır lambda, sıradan en küçük kareleri geri getirir; çok büyük lambda, tüm katsayıları sıfıra doğru iter. Optimal lambda, belirli veri seti için yanlılık ve varyans arasında bir denge kurar.

5

Lambda sabitlendikten ve katsayılar tahmin edildikten sonra, yeni gözlemler için tahmin, sıradan doğrusal regresyonla aynıdır: özelliklerin ve tahmin edilen katsayıların nokta çarpımı. Model, doğrusal etkiler açısından tamamen yorumlanabilir kalır.

Formül
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}

Sık yapılan hatalar

  • Tahmin edicileri standardize etmeden uyum sağlamak, böylece daha büyük ölçeklerdeki özellikler daha fazla cezalandırılır ve katsayılar karşılaştırılamaz hale gelir.
  • Çapraz doğrulama yoluyla seçmek yerine varsayılan lambdayı kullanmak — yanlış bir lambda ya yetersiz düzenlileştirir (sıradan en küçük karelere yakın) ya da aşırı düzenlileştirir (katsayılar sıfıra çöker).
  • Lojistik regresyon veya Poisson regresyonu kullanılması gerekirken, ikili veya sayım çıktısına düzenlileştirilmiş doğrusal regresyon uygulamak.
  • Lasso değişken seçimi sonuçlarını doğrulayıcıymış gibi raporlamak — Lasso seçimi veri setine ve lambdaya duyarlıdır, bu nedenle seçilen değişkenleri keşif amaçlı olarak ele alın.
  • Doğrusallık varsayımını göz ardı etmek ve kalıntıları kontrol etmeden kötü uyum sağlayan düzenlileştirilmiş bir modeli raporlamak.

Sık sorulan sorular

Ridge'i Lasso'ya ne zaman tercih etmeliyim?

Çoğu tahmin edicinin sonuca katkıda bulunduğuna inanıyorsanız ve hiçbirini sıfırlamadan kararlı katsayı tahminleri istiyorsanız Ridge'i seçin — örneğin, tahmin ediciler yüksek oranda ilişkiliyse ve hepsini tutmak istiyorsanız. Birçok özelliğin ilgisiz olmasını bekliyorsanız ve otomatik özellik seçimi istiyorsanız Lasso veya Elastic Net'i seçin.

Hala p-değerleri ve güven aralıkları alıyor muyum?

Klasik p-değerleri ve standart hatalar, cezalandırılmış regresyondan doğrudan elde edilemez çünkü katsayı tahminleri tasarım gereği yanlıdır. Seçim sonrası çıkarım yöntemleri (örn. desparsified Lasso) mevcuttur ancak pratikte nadiren kullanılır; bunun yerine, bootstrap güven aralıkları veya çapraz doğrulanmış kararlılık ölçüleri rapor edilir.

Düzenlileştirme gücü lambdayı nasıl seçerim?

Lambdayı, logaritmik bir ızgara üzerinde k-kat çapraz doğrulama (tipik olarak k = 5 veya 10) ile seçin. scikit-learn'in RidgeCV ve LassoCV'si veya R'nin glmnet'i gibi kütüphaneler bunu otomatik olarak yapar. Seçilen lambdayı raporlayın ve minimum çapraz doğrulama hatasıyla mı yoksa tek standart hata kuralıyla mı seçildiğini belirtin.

Düzenlileştirilmiş doğrusal regresyon normal dağılmış özellikler gerektirir mi?

Hayır. Sıradan en küçük kareler gibi, varsayım tahmin ediciler üzerinde değil, kalıntılar üzerindedir (yaklaşık olarak normal, homoskedastik). Yüksek derecede çarpık veya aykırı değer içeren tahmin ediciler yine de tahminleri bozabilir, bu nedenle çarpık girdileri log-dönüştürmek yaygın bir ön işleme adımıdır.

Elastic Net nedir ve ne zaman tercih edilir?

Elastic Net, bir karıştırma parametresi alfa ile kontrol edilen L1 ve L2 cezalarını birleştirir (alfa = 1 saf Lasso'dur; alfa = 0 saf Ridge'dir). İlişkili tahmin edici gruplarının hepsi ilgili olduğunda tercih edilir — Lasso gruptan keyfi olarak birini seçip diğerlerini atarken, Elastic Net grubu bir arada tutma eğilimindedir.

İlgili yöntemler

Kaynaklar

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    DOI kaynağını aç
    Kopyalandı.
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.

    ISBN: 978-0-387-84858-7
    Kopyalandı.