İçeriğe atla
Arama sonuçlarına dön

Lasso Regresyonu

Ortaya koyan
Tibshirani, R.
Yıl
1996
Tür
Regularized linear regression (L1 penalty)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Robert Tibshirani tarafından 1996'da tanıtılan Lasso regresyonu, kayba bir L1 cezası ekleyerek katsayıları küçülten ve aynı zamanda değişken seçimi yapan, seyrek bir model üreten doğrusal bir regresyon yöntemidir.

Bazı katsayıları tam olarak sıfıra indirerek yalnızca önemli olan öngörücüleri tutar.

Yöntemin mantığı

En küçük kareler yöntemi her öngörücüyü uydurur ve birçok ilişkili veya ilgisiz değişkene ağırlık yayabilir, bu da varyansı şişirir ve hangi özelliklerin gerçekten sonucu belirlediğini gizler. Lasso, katsayıların toplam büyüklüğüne bir bütçe ekler: bu bütçe sıkılaştıkça, zayıf öngörücüler sıfıra kadar itilir ve modelden çıkarılır. Sonuç, yorumlanması daha kolay, daha küçük ve daha kararlı bir değişken kümesidir.

Tarih

Lasso, 1996'da Robert Tibshirani tarafından, katsayılar üzerindeki bir L1 cezası kullanılarak, cezalandırılmış regresyonun küçültülmesini otomatik değişken seçimiyle birleştirmek için bir yol olarak tanıtıldı. Yüksek boyutlu istatistiklerin temel taşı haline geldi ve L1 ve L2 cezalarının değiş tokuş edildiği veya birleştirildiği ridge regresyonu ve elastik net gibi ilgili yöntemlere ilham verdi.

Ne zaman kullanılır?

Çok sayıda sürekli, ikili veya sayım öngörücüsünden ve en az yaklaşık 30 gözlemden elde edilen tahmin veya açıklama için seyrek, yorumlanabilir bir doğrusal model istediğinizde iyi bir uyum sağlar. Özellikle çoklu doğrusallık mevcut olduğunda (örneğin VIF 10'un üzerinde) ve yöntemin hangi değişkenlerin tutulacağını kendisinin seçmesini istediğinizde kullanışlıdır. Kabaca doğrusal bir ilişki varsayar ve özelliklerin standartlaştırılmasını gerektirir. Yaklaşık 30 gözlemin altında, değişken seçimi kararsız hale gelir ve ridge regresyonu daha güvenlidir; öngörücü sayısı örneklem boyutunu aştığında, elastik net tercih edilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Öngörücüler ve sonuç arasındaki doğrusal bir ilişkiyi varsayar.
  • Özellikler önce standartlaştırılmalıdır, aksi takdirde ceza farklı ölçeklerdeki değişkenlere adaletsiz davranır.
  • Küçük örneklemlerde (yaklaşık 30'un altındaki n) seçilen değişkenler kararsızdır ve tekrarlanamaz.
  • Öngörücü sayısı örneklem boyutunu aştığında en fazla n değişken seçebilir, bu nedenle elastik net tercih edilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Tek bir uydurmada değişken seçimi ve katsayı küçültme gerçekleştirir, seyrek, yorumlanabilir bir model elde eder.
  • Zayıf öngörücüleri tam olarak sıfıra indirerek modeli basitleştirir ve aşırı uyumu azaltır.
  • Değişkenleri manuel olarak düşürmeden çoklu doğrusallığa (yüksek VIF) doğal bir yanıttır.
  • Normal dağılımlı veriler gerektirmez ve sürekli, ikili ve sayım öngörücülerini işler.
  • Yalnızca bir ayar parametresi (lambda) vardır, bu da çapraz doğrulama ile ayarlanması kolaydır.

Uygulama alanları

  • Çok sayıda aday öngörücüden seyrek, yorumlanabilir tahmin modelleri oluşturmak.
  • Çoklu doğrusallık (yüksek VIF) mevcut olduğunda otomatik değişken seçimi.
  • Özelliklerin yalnızca bir alt kümesinin önemli olmasının beklendiği yüksek boyutlu ortamlar.
  • Elastik net veya daha karmaşık modelleri denemeden önce düzenlenmiş bir başlangıç noktası.

Nasıl çalışır?

Nasıl çalışır?

1

Lasso, olağan karesel artıklar toplamını, katsayıların mutlak değerlerinin toplamının lambda ile çarpılmasına eşit bir ceza artı olarak minimize eder. Bu L1 cezası tanımlayıcı özelliktir: lambda ne kadar büyükse, katsayılar sıfıra doğru o kadar fazla çekilir.

Formül
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|
2

L1 cezasının keskin köşeleri olduğundan, katsayıları sıfıra doğru küçültmekten daha fazlasını yapar - çoğunu tam olarak sıfıra ayarlar. Sıfır katsayılı değişkenler etkili bir şekilde kaldırılır, bu nedenle uydurma ve değişken seçimi tek bir adımda gerçekleşir ve son model seyrektir.

3

Ceza gücü lambda, uyum ve seyreklik arasındaki değiş tokuşu kontrol eder, bu nedenle çapraz doğrulama ile seçilir: bir dizi lambda değeri denenir ve çapraz doğrulanan ortalama karesel hatayı minimize eden değer tutulur. Özellikler önce standartlaştırılmalıdır, böylece tek ceza farklı ölçeklerdeki öngörücüler arasında adil bir şekilde uygulanır.

Sık yapılan hatalar

  • Özellikleri önceden standartlaştırmadan Lasso uydurmak.
  • Lambda'yı çapraz doğrulama ile ayarlamak yerine elle seçmek.
  • Seçimin kararsız olduğu çok küçük bir örneklemde seçilen değişkenlere güvenmek.
  • Uydurma sonrası artık grafiklerini normallik ve homojenlik açısından kontrol etmeyi unutmak.
  • Öngörücü sayısının gözlem sayısını aştığı durumlarda Lasso'nun seçilen değişken sayısını sınırladığını göz ardı etmek.

Sık sorulan sorular

Lambda nasıl seçilir?

Lambda, katsayıları ne kadar güçlü bir şekilde cezalandırıldığını kontrol eder. Çapraz doğrulama ile seçilir: bir dizi değer denenir ve çapraz doğrulanan ortalama karesel hatayı minimize eden değer tutulur.

Neden özellikleri standartlaştırmalıyım?

Tek L1 cezası her katsayıya eşit olarak uygulanır, bu nedenle daha büyük ölçeklerde ölçülen öngörücüler aksi takdirde daha az cezalandırılırdı. Özellikleri önce standartlaştırmak, cezayı değişkenler arasında adil hale getirir.

Lasso, ridge regresyonundan nasıl farklıdır?

Lasso, katsayıları tam olarak sıfıra ayarlayabilen ve değişken seçimi yapan bir L1 cezası kullanırken, ridge katsayıları küçülten ancak sıfırlamayan bir L2 cezası kullanır. Küçük örneklemlerde veya seçim kararsız olduğunda, ridge daha güvenli bir seçenektir.

Uydurma sonrası ne kontrol etmeliyim?

Seçilen lambda'yı doğrulamak için çapraz doğrulama MSE eğrisini inceleyin, hangi değişkenlerin tutulduğunu ve hangilerinin sıfıra ayarlandığını gözden geçirin ve artık grafiklerini normallik ve homojenlik açısından inceleyin.

İlgili yöntemler

Kaynaklar

  1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    DOI kaynağını aç
    Kopyalandı.