İçeriğe atla
Arama sonuçlarına dön

Ridge Regression (Sırt Regresyonu)

Ortaya koyan
Hoerl, A.E. & Kennard, R.W.
Yıl
1970
Tür
L2-regularized linear regression

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Ridge Regression (Sırt Regresyonu), Arthur Hoerl ve Robert Kennard tarafından 1970'te tanıtılan, katsayıların büyüklüğüne bir ceza ekleyerek çoklu doğrusallığı azaltan L2-düzenlileştirilmiş bir doğrusal regresyon yöntemidir.

Katsayıları tam olarak sıfıra indirmeden sıfıra doğru daraltır, bu da öngörücüler yüksek oranda ilişkiliyken daha kararlı tahminler üretir.

Yöntemin mantığı

Öngörücüler güçlü bir şekilde ilişkiliyken, adi en küçük kareler katsayıları kararsız hale gelir ve örnekten örneğe büyük ölçüde değişebilir. Ridge Regression (Sırt Regresyonu), çok daha düşük varyans karşılığında kasıtlı olarak küçük bir miktar yanlılığı kabul eder: katsayıların karesel büyüklüğüne bir ceza ekleyerek, bu vahşi salınımları kontrol altına alır ve tüm değişkenleri modelde tutar, sadece daha küçük, daha istikrarlı ağırlıklarla.

Tarih

Ridge Regression (Sırt Regresyonu), adi en küçük karelerin bozulduğu ortogonal olmayan (doğrusal) problemler için yanlı ama daha kararlı tahminler elde etmenin bir yolu olarak Arthur E. Hoerl ve Robert W. Kennard tarafından 1970'te tanıtıldı. L2 cezası ekleme fikri, düzenlileştirilmiş regresyonun temel bir aracı ve daha sonraki LASSO ve Elastic Net gibi yöntemlerin doğrudan öncüsü haline geldi; bu yöntemler, onun daraltma davranışını açık değişken seçimiyle birleştirir veya karşılaştırır.

Ne zaman kullanılır?

Çoklu doğrusallığın mevcut olduğu ve değişkenler arasında seçim yapmak yerine tüm değişkenleri tutmak istediğiniz durumlarda, sürekli, ikili veya sayım öngörücüleriyle tahmin için Ridge Regression (Sırt Regresyonu) kullanın. Kabaca doğrusal bir ilişki ve en az yaklaşık 30 gözlem varsayar. Özellikler önce standartlaştırılmalıdır. Örnekler küçük ve doğrusallık hafif olduğunda, düz doğrusal regresyon daha yorumlanabilirdir; değişken seçimi amaçlandığında, LASSO veya Elastic Net tercih edilir.

Sınırlar ve dikkat edilmesi gerekenler

  • LASSO'nun yapabildiği gibi ilgisiz öngörücüleri sıfırlayamadığı için değişken seçimi yapmaz.
  • Cezanın büyük ölçekli değişkenleri haksız yere kayırmaması için özelliklerin standartlaştırılmasını gerektirir.
  • Öngörücüler ve sonuç arasındaki doğrusal bir ilişkiyi varsayar.
  • Küçük örneklemlerde (yaklaşık 30'un altındaki n) çapraz doğrulama ile alfa ayarlamak güvenilmezdir ve düz OLS yeterli olabilir.
  • Doğrusallık aslında bir sorun olmadığında, daralma gereksizdir ve yorumlanabilirliği azaltır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • L2 cezası ekleyerek çoklu doğrusallığı azaltır ve katsayı tahminlerini stabilize eder.
  • Her öngörücüyü modelde tutar — katsayılar daralır ancak hiçbiri sıfıra indirilmez.
  • Küçük bir yanlılık artışı pahasına varyansı düşürür, genellikle tahmini iyileştirir.
  • Tek, kolayca ayarlanabilen bir hiperparametresi (alfa) vardır, çapraz doğrulama ile seçilir.
  • Normal dağılmış veri gerektirmeyen sürekli, ikili ve sayım öngörücüleriyle çalışır.

Uygulama alanları

  • Çoklu doğrusallığın OLS varyansını şişirdiği çok sayıda ilişkili öngörücü ile tahmin.
  • Varyans şişirme faktörleri yüksek olduğunda (VIF 10'un üzerinde) regresyon katsayılarını stabilize etmek.
  • Tüm öngörücülerin seçilmek yerine korunması gerektiği durumlarda modelleme.
  • LASSO veya Elastic Net'e karşı karşılaştırma öncesi düzenlileştirilmiş bir temel.

Nasıl çalışır?

Nasıl çalışır?

1

Adi en küçük kareler, yalnızca karesel hatayı en aza indirerek katsayıları uydurur. İki veya daha fazla öngörücü neredeyse birbirinin yerine geçebilir olduğunda (çoklu doğrusallık), bu katsayıları kötü belirlenmiş ve gürültüye karşı son derece hassas bırakır. Ridge, büyük katsayıları caydırarak, biraz yanlılığı çok daha fazla istikrar karşılığında takas ederek buna hitap eder.

2

Ridge, olağan karesel hata toplamını artı, ayarlama sabiti alfa çarpı katsayıların karesel toplamına eşit bir ceza minimizasyonu yapar. Bu L2 cezası, tüm katsayıları büyüklüklerine orantılı olarak sıfıra doğru daraltır, ancak LASSO'nun aksine hiçbir katsayıyı tam olarak sıfıra zorlamaz, bu nedenle her öngörücü korunur. Cezanın her öngörücüye adil davranması için özelliklerin önceden standartlaştırılması gerekir.

Formül
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2
3

Cezanın gücü alfa tarafından kontrol edilir: daha büyük değerler katsayıları daha fazla daraltır. Doğru değer çapraz doğrulama ile seçilir, tipik olarak bir alfa aralığı taranarak ve çapraz doğrulanan ortalama karesel hatayı en aza indiren seçilerek.

Sık yapılan hatalar

  • Ham, standartlaştırılmamış özellikler üzerinde Ridge Regression (Sırt Regresyonu) uydurmak, böylece ceza katsayıları bozar.
  • Çapraz doğrulama yerine alfa seçimi elle yapmak.
  • Gerçek çoklu doğrusallık olmadığında Ridge uygulamak, fayda sağlamadan katsayıları daraltmak.
  • Değişken seçimi beklemek — Ridge tüm değişkenleri tutar, bu nedenle seyrek bir modele ihtiyacınız varsa LASSO veya Elastic Net'e başvurun.
  • Uygulama sonrası artık tanıları (normallik, homoskedastisite) atlamak.

Sık sorulan sorular

Ridge, LASSO'dan nasıl farklıdır?

Her ikisi de katsayıları daraltmak için bir ceza ekler, ancak Ridge, katsayıları asla sıfıra ulaşmadan sıfıra doğru daraltan bir L2 cezası kullanır, bu nedenle tüm öngörücüler modelde kalır. LASSO, katsayıları tam olarak sıfıra ayarlayabilen ve değişken seçimi yapan bir L1 cezası kullanır. İlişkili öngörücüleri stabilize etmek için Ridge'i ve seyrek bir model istediğinizde LASSO'yu seçin.

Özelliklerimi standartlaştırmam gerekiyor mu?

Evet. Özelliklerin standartlaştırılması gerekir, çünkü L2 cezası katsayıların büyüklüğüne etki eder; standartlaştırma olmadan ceza, daha büyük ölçeklerde ölçülen değişkenleri haksız yere daraltır.

Ceza gücü alfayı nasıl seçerim?

Alfayı çapraz doğrulama ile seçin: bir dizi değeri tarayın ve çapraz doğrulanan ortalama karesel hatayı en aza indiren değeri seçin. CV MSE eğrisini alfa'ya karşı çizmek, optimumun nerede yattığını gösterir.

Ne zaman Ridge kullanmamalıyım?

Gerçek çoklu doğrusallık yoksa, Ridge gereksiz daralma ekler ve düz bir doğrusal regresyon daha yorumlanabilirdir. Çok küçük örneklemlerde (yaklaşık 30'un altındaki n), alfa ayarlamak güvenilmezdir ve ilgisiz değişkenleri düşürmeniz gerekiyorsa bunun yerine LASSO veya Elastic Net kullanmalısınız.

İlgili yöntemler

Kaynaklar

  1. Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.

    DOI kaynağını aç
    Kopyalandı.