İçeriğe atla
Arama sonuçlarına dön

Doğrusal Regresyon (ML)

Ortaya koyan
Legendre, A.-M. & Gauss, C.F.
Yıl
1805–1809
Tür
Supervised regression
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Doğrusal regresyon, bir veya daha fazla girdi özelliği ile sürekli sayısal bir sonuç arasındaki doğru-çizgi ilişkisini, tahmin hatalarının kareleri toplamını en aza indirerek uydurur.

Bir makine öğrenmesi modeli olarak etiketlenmiş örnekler üzerinde eğitilir ve ayrılmış veriler üzerinde değerlendirilir, bu da onu herhangi bir regresyon görevi için en basit denetimli öğrenme tabanı yapar.

Yöntemin mantığı

Veri noktalarının bir saçılım diyagramı üzerinden en iyi uyan doğruyu çizdiğinizi hayal edin. Doğrusal regresyon, tam olarak bunu birden çok öngörücü için yapar: doğrunun tahminleri ile gerçek değerler arasındaki toplam karesel mesafeyi en aza indiren özellik ağırlıklarının kombinasyonunu bulur. İlişki, girdilerin basit ağırlıklı bir toplamı olarak ifade edildiği için, her bir katsayı, diğer her şey sabit tutulduğunda, o özellik bir birim arttığında tahmin edilen sonucun ne kadar değiştiğini doğrudan size söyler. Bu şeffaflık, gerçek ilişkinin eğri olduğu veya etkileşimleri içerdiği durumlarda yetersiz uyum sağlasa bile, doğrusal regresyonun açıklanmasını ve denetlenmesini benzersiz şekilde kolaylaştırır.

Tarih

En küçük kareler, Legendre tarafından 1805'te ve Gauss tarafından yaklaşık 1809'da bağımsız olarak yayınlandı. Yirminci yüzyılın ortalarına gelindiğinde doğrusal regresyon, uygulamalı istatistiğin temel tekniği haline gelmişti. Bir makine öğrenmesi modeli olarak yeniden çerçevelenmesi — örnekler üzerinde eğitilmiş, ayrılmış veriler üzerinde değerlendirilmiş ve aşırı uyumu önlemek için düzenlileştirilmiş — onu, tahmin modellemesinde ikinci bir yaşam kazandırdı; burada herhangi bir regresyon problemi için kanonik ilk adım tabanı olmaya devam ediyor.

Ne zaman kullanılır?

Sonuç sürekli olduğunda, öngörücüler ve sonuç arasındaki beklenen ilişkinin yaklaşık olarak doğrusal olduğu durumlarda ve yorumlanabilir katsayılara ihtiyaç duyulduğunda doğrusal regresyon kullanın. Daha karmaşık modelleri denemeden önce doğru başlangıç tabanıdır ve varsayımları geçerliyse iyi bir nihai modeldir. İkili veya kategorik sonuçlar için (bunun yerine lojistik regresyon kullanın), güçlü doğrusal olmayan desenler veya etkileşimler baskın olduğunda veya öngörücü sayısı düzenlileştirme olmadan örneklem boyutunu aştığında kullanmayın.

Sınırlar ve dikkat edilmesi gerekenler

  • Doğrusal bir ilişki varsayar; manuel olarak kodlanmadıkça eğrileri, eşikleri ve etkileşimleri gözden kaçırır.
  • Karesel hatalar aşırı noktaların etkisini artırdığı için aykırı değerlere duyarlıdır.
  • Öngörücüler arasındaki çoklu doğrusallık standart hataları şişirir ve katsayı tahminlerini dengesizleştirir.
  • Geçerli çıkarım için artıkların yaklaşık olarak normal dağılımlı ve homoskedastik olmasını gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Katsayılar doğrudan yorumlanabilir: her değer, diğer her şey sabit tutulduğunda, sonucun birimlerindeki marjinal bir etkidir.
  • Hesaplama açısından önemsizdir — büyük veri kümelerinde bile neredeyse anında uyar.
  • Resmi hipotez testini destekleyen standart hatalar ve p-değerleri sağlar.
  • Daha karmaşık modellerin karşılaştırılması gereken vazgeçilmez temel oluşturur.
  • Doğrusallık varsayımı geçerliyse iyi çalışır ve tam olarak gerekçelendirilir.
  • Öngörücüler çok olduğunda düzenlileştirme uzantılarıyla (Ridge, Lasso, Elastic Net) yüksek uyumluluk gösterir.

Uygulama alanları

  • Herhangi bir alandaki tablosal özelliklerden sürekli sayısal bir sonucu tahmin etmek.
  • Gradyan artırma veya sinir ağı modellerini test etmeden önce bir performans tabanı oluşturmak.
  • Doğrusallığın geçerli olduğu gözlemsel çalışmalarda etki büyüklüklerini ve marjinal etkileri tahmin etmek.
  • İş analitiğinde talep tahmini, fiyat modellemesi ve kaynak tahmini.
  • Daha karmaşık analizlerden önce en önemli öngörücüleri belirlemek için hızlı keşif modellemesi.
  • Model şeffaflığının yasal veya etik olarak zorunlu olduğu ortamlarda yorumlanabilir puanlama fonksiyonları.

Nasıl çalışır?

Nasıl çalışır?

1

Model, tahmini, girdi özelliklerinin ağırlıklı bir toplamı artı bir kesme noktası olarak ifade eder. Hedef değişken sürekli ve sayısal olmalıdır; kategorik girdiler, uydurmadan önce kukla veya sayısal değişkenler olarak kodlanmalıdır.

Formül
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

En küçük kareler, artık toplam karelerini en aza indiren katsayı vektörünü bulur. Orta büyüklükteki veri kümeleri için bu, normal denklemler aracılığıyla analitik olarak çözülür; çok büyük veri kümeleri için bunun yerine iteratif çözücüler veya stokastik gradyan inişi kullanılır.

Formül
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}
3

R-kare (belirlilik katsayısı), modelin sonuçtaki varyansın ne kadarını açıkladığını özetler. Sonucun orijinal birimlerindeki hataları bildiren karekök ortalama karesel hata ve ortalama mutlak hata ile tamamlanır.

Formül
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}
4

Uyum, aşırı uyumu tespit etmek için ayrılmış bir test kümesi üzerinde veya k-katlı çapraz doğrulama yoluyla değerlendirilir. Artık çizimleri — uyumlandırılmış değerlere karşı artıklar ve artıkların bir Q-Q çizimi — çıkarım güvenirliğinden önce doğrusallığı, homoskedastisiteyi ve hataların normalliğini kontrol etmek için incelenir.

Sık yapılan hatalar

  • Doğrusal yaklaşımın bozulduğu eğitim verisi aralığının çok dışına tahminleri dışa doğru tahmin etmek.
  • Artık tanılamaları göz ardı etmek ve çizimleri kontrol etmeden modelin geçerli olduğunu varsaymak.
  • Çoklu doğrusallığı ele almadan yüksek oranda ilişkili öngörücüleri dahil etmek (VIF'yi kontrol edin).
  • R-kareyi yeni verilerdeki tahmin doğruluğu ile karıştırmak — her zaman ayrılmış bir küme üzerinde değerlendirin.
  • İkili veya sayım sonucu yerine doğrusal regresyon uygulamak (lojistik veya Poisson regresyonu yerine).

Sık sorulan sorular

Doğrusal regresyon, lojistik regresyondan nasıl farklıdır?

Doğrusal regresyon sürekli bir sonucu doğrudan tahmin eder. Lojistik regresyon, ikili bir sonucun log-olasılığını modeller ve 0 ile 1 arasında sınırlı olasılıklar üretir. İkili bir sonuç için doğrusal regresyon kullanmak [0, 1] dışı tahminler üretebilir ve sabit varyans varsayımını ihlal eder.

Özelliklerimi standartlaştırmam gerekiyor mu?

Tahminler için standartlaştırma gerekli değildir, ancak özellikler çok farklı ölçeklere sahip olduğunda katsayıları doğrudan karşılaştırılabilir hale getirir. Özellikle Ridge veya Lasso gibi düzenlileştirilmiş varyantlar kullanılırken önerilir.

Örneklem boyutuna göre çok sayıda öngörücü olduğunda nasıl başa çıkarım?

Düzenlileştirilmiş doğrusal regresyona (küçültme için Ridge, seyrek olması için Lasso, her ikisi için Elastic Net) geçin. Öngörücü sayısı gözlem sayısına yaklaştığında veya aştığında OLS güvenilmez veya tanımsız hale gelir.

Hangi artık çizimlerini incelemeliyim?

En azından: (1) doğrusal olmayan veya heteroskedastisiteyi düşündüren desenleri kontrol etmek için uyumlandırılmış değerlere karşı artıklar ve (2) normalliği değerlendirmek için artıkların bir Q-Q çizimi. Bir ölçek-konum çizimi ve kaldıraç/etki istatistikleri (Cook'un mesafesi) de bilgilendiricidir.

Yüksek bir R-kare iyi bir model ilan etmek için yeterli mi?

Hayır. R-kare, örneklem içi uyumu ölçer ve ilgisiz öngörücüler tarafından şişirilebilir. Modelin varsayımlarının karşılandığını doğrulamak için her zaman R-kare ile birlikte çapraz doğrulanmış veya test kümesi RMSE'sini bildirin ve artık tanılamalarını inceleyin.

İlgili yöntemler

Kaynaklar

  1. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.

    ISBN: 978-0-387-84858-7
    Kopyalandı.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.

    ISBN: 978-1-4614-7138-7
    Kopyalandı.