Elastic Net
- Ortaya koyan
- Zou, H. & Hastie, T.
- Yıl
- 2005
- Tür
- Regularized linear regression (L1 + L2 penalty)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Elastic Net, Zou ve Hastie tarafından 2005 yılında tanıtılan, hem LASSO (L1) hem de Ridge (L2) cezalarını birleştiren düzenlileştirilmiş bir doğrusal regresyon yöntemidir; bu sayede hem değişken seçimi hem de katsayı küçültme işlemini aynı anda gerçekleştirir.
Çok sayıda, muhtemelen ilişkili, öngörücü içeren veriler üzerinde öngörüsel ve açıklayıcı modelleme için tasarlanmıştır.
Yöntemin mantığı
Sıradan doğrusal regresyon aşırı uyuma neden olabilir ve öngörücüler ilişkili olduğunda veya gözlem sayısından daha fazla özellik olduğunda kötü performans gösterir. LASSO, değişkenleri seçmek için katsayıları sıfırlayabilir ancak ilişkili öngörücü gruplarıyla mücadele ederken, Ridge herkesi yumuşak bir şekilde küçültür ancak hiçbir değişkeni düşürmez. Elastic Net ikisini karıştırır: LASSO'nun bazı katsayıları tam olarak sıfıra indirme yeteneğini korurken, Ridge'in kararlılığından faydalanarak ilişkili öngörücülerin rastgele seçilmek yerine zarif bir şekilde ele alınmasını sağlar.
Tarih
Elastic Net, 2005 yılında Hui Zou ve Trevor Hastie tarafından LASSO'nun iki bilinen zayıflığını gidermek için tanıtıldı: öngörücüler yüksek derecede ilişkili olduğunda kararsız davranışı ve gözlem sayısından daha fazla değişkeni seçememesi. LASSO'nun L1 cezasına Ridge tarzı bir L2 terimi ekleyerek, hem değişkenleri seçen hem de çözümü stabilize eden bir tahminci ürettiler ve bu, yüksek boyutlu regresyon için standart bir araç haline geldi.
Ne zaman kullanılır?
Çok sayıda öngörücünüz olduğunda — özellikle ilişkili olanlar veya gözlem sayısından fazla özellik olduğunda — ve otomatik değişken seçimi ile küçültme istediğinizde, sürekli, ikili veya sayım sonuçları için tahmin veya açıklama amacıyla Elastic Net kullanın. Kabaca doğrusal bir ilişki varsayar ve özelliklerin normalleştirildiğini kabul eder. Her iki hiperparametrenin de çapraz doğrulama ile ayarlanabilmesi için en az yaklaşık 30 gözleme ihtiyacınız vardır; bunun altında, düz LASSO veya Ridge daha güvenlidir.
Sınırlar ve dikkat edilmesi gerekenler
- Öngörücüler ve sonuç arasındaki yaklaşık doğrusal bir ilişkiyi varsayar.
- Özellikler önce normalleştirilmelidir, aksi takdirde ceza büyük ölçekli değişkenlere haksız yere avantaj sağlar.
- İki hiperparametre (ceza gücü ve L1/L2 oranı) ayarlanmalıdır, bu da tek ceza yöntemlerinden daha fazla çapraz doğrulama verisi gerektirir.
- Küçük örneklemlerde (n yaklaşık 30'un altında) L1/L2 karıştırma oranı optimize etmek için kararsızdır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- LASSO değişken seçimini Ridge küçültmesiyle tek bir modelde birleştirir.
- İlişkili öngörücüleri zarif bir şekilde ele alır, onları grup olarak tutma veya düşürme eğilimindedir.
- Özellik sayısı gözlem sayısını aştığında çalışır.
- Dağılım-hafif: normal dağılımlı sonuçlar gerektirmez ve sürekli, ikili ve sayım özelliklerini ele alır.
Uygulama alanları
- Öngörücülerin gözlemleri geçtiği yüksek boyutlu regresyon.
- Çok sayıda ilişkili özelliğe sahip genomik ve biyobelirteç çalışmaları.
- Hem değişken seçimi hem de sağlam katsayılar gerektiren öngörüsel modelleme.
- İlişkili öngörücüleri küçültüp budayarak sinyali netleştiren açıklayıcı modelleme.
Nasıl çalışır?
Nasıl çalışır?
Model, katsayıları, olağan karesel hata kaybını artı artı birleşik bir ceza minimizasyonu yaparak uydurur: bazı katsayıları tam olarak sıfıra iten bir L1 terimi (seçim) ve bunları yumuşak bir şekilde küçülten bir L2 terimi (kararlılık). Toplam cezanın gücü λ ile, iki ceza arasındaki denge ise karıştırma parametresi (burada α olarak yazılan l1_ratio) ile kontrol edilir.
Formül
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)Modele iki hiperparametre hakimdir — toplam ceza gücü ve L1/L2 karıştırma oranı — ve bunlar çapraz doğrulama ile seçilir. Tek yerine ayarlanacak iki düğme olduğundan, Elastic Net'in çapraz doğrulama ızgarasının güvenilir olması için yeterli veriye (en az yaklaşık 30 gözlem) ihtiyacı vardır. Cezanın her özelliği aynı ölçekte ele alması için öngörücüler önce standartlaştırılmalıdır.
Uydurulan model seyrek bir katsayı kümesi döndürür: önemsiz öngörücüler sıfıra indirilip düşürülürken, ilişkili öngörücüler rastgele birinin seçilmesi yerine bir grup olarak tutulma veya düşürülme eğilimindedir. Kalan katsayılar, küçültülmüş olduklarından, cezasız regresyona göre daha kararlı ve genelleştirilebilir bir model sunar.
Sık yapılan hatalar
- Öngörücüleri önce standartlaştırmadan uydurma.
- Her iki hiperparametreyi de çok az gözlemde ayarlamaya çalışmak, çapraz doğrulama ızgarasını güvenilmez hale getirir.
- Tek bir cezanın yeterli olduğu durumlarda Elastic Net'e başvurmak — yalnızca seçim gerekiyorsa LASSO, yalnızca küçültme gerekiyorsa Ridge.
- Küçültülmüş katsayıları tarafsız etki büyüklükleri olarak yorumlamak.
Sık sorulan sorular
Elastic Net, LASSO ve Ridge'den nasıl farklıdır?
LASSO yalnızca L1 cezasını kullanır (seçim ancak ilişkili öngörücülerle kararsız); Ridge yalnızca L2 cezasını kullanır (kararlı küçültme ancak hiçbir değişkeni düşürmez). Elastic Net, bir karıştırma oranı ile kontrol edilen her ikisini de harmanlar, böylece değişkenleri seçer ve ilişkili özelliklerle kararlı kalır.
Özelliklerimi ölçeklendirmem gerekiyor mu?
Evet. Ceza, katsayıların büyüklüğüne etki eder, bu nedenle özellikler önce normalleştirilmelidir; aksi takdirde büyük ölçekli değişkenlere farklı şekilde ceza uygulanır ve seçim yanlı olur.
Kaç gözleme ihtiyacım var?
En az yaklaşık 30. Elastic Net, çapraz doğrulama ile iki hiperparametreyi ayarlar, bu nedenle tek ceza yöntemlerinden daha fazla veriye ihtiyaç duyar. 30'un altında, seçim gerekiyorsa düz LASSO veya küçültme gerekiyorsa Ridge kullanın.
İki hiperparametre neyi kontrol eder?
Toplam ceza gücü (λ), katsayıların ne kadar küçültüleceğini kontrol eder ve karıştırma oranı (l1_ratio), L1 seçim cezası ile L2 küçültme cezası arasındaki dengeyi ayarlar. Her ikisi de çapraz doğrulama ile seçilir.
İlgili yöntemler
Kaynaklar
Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.
DOI kaynağını açKopyalandı.