İçeriğe atla
Arama sonuçlarına dön

Çevrimiçi Doğrusal Regresyon

Ortaya koyan
Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
Yıl
1960 (LMS); 1950 (RLS formalization)
Tür
Incremental supervised regression
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Çevrimiçi Doğrusal Regresyon, doğrusal bir modeli gözlem başına birer birer uydurur ve her yeni veri noktası geldiğinde ağırlıkları artımlı olarak günceller.

Yığın en küçük kareler yönteminin aksine, tüm veri kümesini depolamaya veya yeniden işlemeye gerek duymaz; bu da onu akış verileri, çok büyük veri kümeleri ve veri üretme sürecinin zamanla değişebileceği ortamlar için doğal bir seçim haline getirir.

Yöntemin mantığı

Tüm verileri toplamayı beklemek yerine, her tek ölçümden sonra bir doğrusal tahmincinin ayarlarını yapmayı hayal edin. Her yeni gözlem, mevcut tahmininizin ne kadar yanlış olduğunu size söyler ve hatayı azaltacak yönde ağırlık vektörünü küçük bir adım kadar kaydırırsınız. Çok sayıda gözlem boyunca ağırlıklar, adi en küçük kareler çözümüne yakın değerlere yakınsar — ancak bunu tüm veri kümesini belleğe yüklemeden başardınız ve altta yatan ilişkinin sürüklenmesi durumunda uyum sağlamaya devam edebilirsiniz.

Tarih

Teorik temelleri Gauss'un en küçük kareler yöntemine (19. yüzyıl başları) ve Plackett'in 1950'deki özyinelemeli formülasyonuna dayanmaktadır. Pratik çevrimiçi varyantı, 1960'ta Widrow ve Hoff'un En Küçük Ortalama Kareler (LMS) algoritmasıyla ortaya çıktı ve başlangıçta uyarlanabilir sinyal işleme için geliştirildi. Zinkevich (2003) tarafından biçimlendirilen ve Shalev-Shwartz (2012) tarafından kapsamlı bir şekilde incelenen çevrimiçi dışbükey optimizasyon teorisi, çevrimiçi doğrusal regresyonu titiz bir pişmanlık minimizasyonu çerçevesine yerleştirdi ve neredeyse optimal yakınsama garantilerini gösterdi.

Ne zaman kullanılır?

Veriler sürekli bir akış olarak geldiğinde ve tahminlerin hemen sunulması gerektiğinde, yığın uyumu için bellekte tutulamayacak kadar büyük veri kümeleri olduğunda veya öngörücüler ile sonuç arasındaki ilişkinin zamanla değişebileceği ve modelin uyum sağlaması gerektiği durumlarda çevrimiçi doğrusal regresyon kullanın. Ayrıca, gerçek zamanlı üretim sistemlerinde hafif bir temel çizgi olarak iyi bir seçenektir. İlişkinin güçlü bir şekilde doğrusal olmadığı, özellik mühendisliğinin tüm veri kümesi üzerinde bütünsel olarak yapılması gerektiği veya istatistiksel çıkarım için güven aralıklarıyla birlikte kesin OLS katsayılarına ihtiyaç duyduğunuz durumlarda bundan kaçının — bu durumlarda yığın doğrusal regresyon kullanın.

Sınırlar ve dikkat edilmesi gerekenler

  • Öğrenme oranının seçimine duyarlıdır: çok büyük olması salınıma neden olur, çok küçük olması yavaş yakınsamaya neden olur.
  • Kapalı formda standart hatalar veya p-değerleri sağlamaz, bu nedenle klasik istatistiksel çıkarım doğrudan mevcut değildir.
  • L2 düzenlileştirmesi eklenmediği sürece, yüksek derecede korelasyonlu özelliklerle (çoklu doğrusallık) mücadele edebilir.
  • Tüm veriler zaten mevcut olduğunda ve kavram kayması olmadığında, yığın OLS'ye göre performansı düşer.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Özellik sayısı p olmak üzere O(p) bellek ile veriyi gözlem başına birer birer işler — tam veri kümesi gerekmez.
  • Kavram kaymasına sürekli olarak uyum sağlar, bu da onu finansal zaman serileri veya sensör akışları gibi duruşmasız ortamlar için uygun hale getirir.
  • Güncelleme başına hesaplama açısından ucuzdur: tek bir nokta çarpımı ve bir ağırlık vektörü eklemesi.
  • Birden fazla akış veya bölüm arasında doğal olarak paralelleştirilebilir.
  • Yığın yeniden uyumu beklemeden gerçek zamanlı olarak tahminler üretir.

Uygulama alanları

  • E-ticaret ve enerji piyasalarında gerçek zamanlı fiyat tahmini ve talep tahmini.
  • Özyinelemeli en küçük kareler kullanarak uyarlanabilir sinyal işleme ve gürültü engelleme.
  • Yığın yeniden uyumlarının imkansız olduğu IoT ve sensör ağı ortamlarında sürekli model güncellemesi.
  • Veri üretme sürecinin sık sık değiştiği finansal tik-veri regresyonu.
  • Kullanıcı olayları geldikçe güncellenen büyük ölçekli öneri sistemi özellik ağırlıkları.
  • Daha karmaşık modeller düşünülmeden önce AutoML işlem hatlarında temel akış modeli.

Nasıl çalışır?

Nasıl çalışır?

1

Ağırlık vektörünü sıfıra (veya küçük rastgele bir değere) ayarlayın ve adım boyutunu kontrol eden bir öğrenme oranı eta seçin. İstasyonsuz akışlarda ağırlıkların sınırsız büyümesini önlemek için isteğe bağlı olarak L2 (Ridge) gibi bir düzenlileştirme terimi başlatın.

Formül
\mathbf{w}_0 = \mathbf{0},\; \eta > 0
2

Gelen her gözlem x_t için, mevcut ağırlık vektörünün özellik vektörüyle nokta çarpımını alarak tahmin edilen çıktıyı hesaplayın. Bu tahmin, gerçek etiket y_t ortaya çıkmadan önce yapılır ve gerçek akış ortamlarının sıralı doğasını yansıtır.

Formül
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_t
3

Gerçek etiket ortaya çıktıktan sonra, karesel tahmin hatasını hesaplayın. Bu anlık kayıp, gradyan sinyalini yönlendirir; karesel kaybın ağırlıklara göre gradyanı, hatanın özellik vektörü ile çarpımına eşittir.

Formül
\ell_t = (y_t - \hat{y}_t)^2
4

LMS (en küçük ortalama kareler) güncelleme kuralını uygulayın: ağırlıkları kaybın negatif gradyanı yönünde hareket ettirin. Adım boyutu eta, adaptasyon hızı ile gürültü hassasiyeti arasındaki dengeyi kontrol eder. Daha küçük eta daha düzgün yakınsama sağlarken; daha büyük eta daha hızlı uyum sağlar ancak salınım riski taşır.

Formül
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_t
5

Bir sonraki gözlemi hemen işleyin veya küçük bir yığın için küçük bir mini yığın arabelleğe alın. Duruşmasız ortamlarda, azalan bir öğrenme oranı veya kayan pencere unutma faktörü, modeli kavram kaymasına duyarlı tutar. Tam bir yeniden uyum asla gerekmez.

Sık yapılan hatalar

  • Özelliklerin çok farklı ölçeklerde olduğu verilerde sabit bir öğrenme oranı kullanmak — güncellemeden önce özellikleri her zaman çevrimiçi olarak standartlaştırın (örneğin, çalışma ortalaması ve varyansı).
  • Yüksek boyutlu veya neredeyse doğrusal ortamlarda düzenlileştirmeyi eklemeyi unutmak, bu da ağırlıkların seyrek akışlarda ıraksamasına neden olur.
  • Çevrimiçi ağırlıkları OLS tahminleriyle eşdeğer olarak kabul etmek ve bunları OLS güven aralıklarıyla raporlamak — bunlar özdeş değildir.
  • Kavram kayması tespitini göz ardı etmek: veri dağılımı keskin bir şekilde kayarsa, sabit bir öğrenme oranı sinyali izlemek yerine gürültüyü izleyebilir.
  • Uzun bir akışın sonunda doğruluk değerlendirmesi yapmak yerine baştan sona önsel (test et, sonra eğit) değerlendirme kullanmak.

Sık sorulan sorular

Çevrimiçi doğrusal regresyon, standart (yığın) doğrusal regresyondan nasıl farklıdır?

Yığın doğrusal regresyon, tüm veri kümesi üzerinde bir kerede normal denklemleri çözer ve kesin OLS çözümünü verir. Çevrimiçi doğrusal regresyon, her gözlemden sonra bir gradyan adımı kullanarak ağırlıkları artımlı olarak günceller ve tüm verileri hiç yüklemeden neredeyse OLS çözümüne yakınsar — kesin çıkarım istatistiklerini kaybetme maliyetiyle.

Hangi öğrenme oranını kullanmalıyım?

Yaygın bir başlangıç noktası, eta = 0.01'in özellik vektörlerinin beklenen karesel normuna bölünmesidir. Izgara araması veya uyarlanabilir yöntemler (AdaGrad, Adam), öğrenme oranını özellik başına otomatik olarak ölçeklendirir ve genellikle sabit bir küresel orandan daha kolay ayarlanır.

Çevrimiçi doğrusal regresyon kavram kaymasını ele alabilir mi?

Evet. Sabit (azalmayan) bir öğrenme oranı, modeli kaymaya karşı duyarlı tutar. Ani kaymalar için, açık kayma tespit testleri (örneğin, ADWIN) kısmi bir ağırlık sıfırlamasını tetikleyebilir. İlişkinin durağan olduğu ve nihai yakınsama istediğiniz durumlarda azalan bir oran daha iyidir.

Çevrimiçi ortamda düzenlileştirme mümkün mü?

Evet. Bir L2 cezası eklemek, çevrimiçi Ridge (Tikhonov) güncellemesini verir: her adımda mevcut ağırlık vektörünün küçük bir kesrini çıkarın. Bu, ağırlıkların seyrek veya gürültülü akışlarda büyük olmasını önler ve yüksek boyutlu ayarlarda şiddetle tavsiye edilir.

Çevrimiçi bir modeli adil bir şekilde nasıl değerlendiririm?

Önsel (test et, sonra eğit) değerlendirmeyi kullanın: modeli güncellemek için kullanmadan önce her gözlemdeki tahmin hatasını kaydedin. Bu, ayrı bir ayrılmış test kümesi olmadan genelleme hatasının tarafsız, sıralı bir tahminini verir.

İlgili yöntemler

Kaynaklar

  1. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    DOI kaynağını aç
    Kopyalandı.
  2. Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.

    ISBN: 978-0130901262
    Kopyalandı.