Online Lojistik Regresyon
- Ortaya koyan
- Rosenblatt, F. / Widrow, B. (perceptron era); modern SGD form: Bottou, L.
- Yıl
- 1960s (perceptron); formalized for logistic loss ~2000s
- Tür
- Incremental supervised classifier
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Online Lojistik Regresyon, her gözlem geldiğinde tam veri kümesini görmeyi beklemek yerine, stokastik gradyan inişi yoluyla bir seferde tek bir örnek (veya mini-grup) üzerinde bir lojistik sınıflandırıcı uydurur ve model ağırlıklarını günceller.
Bu, onu, yığın eğitiminin uygulanamaz olduğu yüksek hacimli, akışlı veya bellek kısıtlı ikili sınıflandırma sorunları için standart seçim haline getirir.
Yöntemin mantığı
Klasik lojistik regresyon, tüm veriyi belleğe yüklemeyi ve tüm veri kümesi üzerinde optimizasyon yapmayı gerektirir. Online lojistik regresyon ise bunun yerine gelen her örneği okur, bir olasılık tahmini yapar, tahmin hatasını hesaplar ve bir sonraki örneğe geçmeden önce ağırlıklarını düzeltmek için küçük bir gradyan adımı atar. Çok sayıda örnek üzerinden ağırlıklar, yığın çözücünün bulacağı değerlere yakın değerlere yakınsar, ancak model tam veri kümesini asla depolamadan sürekli olarak güncellenebilir. Azalan bir öğrenme oranı, model olgunlaştıkça güncellemelerin daha ince hale gelmesini sağlayarak adaptasyon hızını kararlılıkla takas eder.
Tarih
Çevrimiçi gradyan tabanlı öğrenmenin kökleri Rosenblatt'ın algılayıcısına (1958) ve Widrow ile Hoff'un LMS kuralına (1960) dayanmaktadır. Lojistik kayıp varyantı, özellikle Bottou'nun makine öğrenmesi için stokastik gradyan inişi üzerine yaptığı çalışmalar ve Shalev-Shwartz'ın çevrimiçi dışbükey optimizasyon için teorik çerçevesi aracılığıyla 2000'lerin büyük ölçekli öğrenme literatüründe önem kazandı. Veri kümelerinin sürekli olarak aktığı ve modellerin gerçek zamanlı olarak güncellenmesi gerektiği web ölçeğindeki tıklama oranı tahmini ve spam filtreleme alanlarında üretim standardı haline geldi.
Ne zaman kullanılır?
Veri bir akış olarak geldiğinde veya tam veri kümesi bellekte tutulamayacak kadar büyük olduğunda, sınıf sınırının zamanla yavaş yavaş kayması beklendiğinde (kavram kayması) veya düşük gecikmeli model güncellemeleri gerektiğinde Online Lojistik Regresyon'u kullanın. Ayrıca, tek bir SGD geçişinin kabul edilebilir olduğu çok büyük statik veri kümeleri için hızlı bir taban çizgisi görevi görür. Veri kümesinin yığın eğitimine yetecek kadar küçük olduğu (yığın lojistik regresyon daha az ayarlamayla daha iyi bir çözüme yakınsayacaktır), karar sınırının oldukça doğrusal olmadığı (ağaç tabanlı veya çekirdek yöntemler daha iyi uyacaktır) veya raporlama için kesin katsayı standart hataları ve p-değerlerinin yorumlanabilirliğinin gerekli olduğu durumlarda bundan kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Öğrenme oranı seçimine duyarlıdır: çok büyük olması ıraksamaya neden olur, çok küçük olması yavaş yakınsamaya veya yetersiz uyuma neden olur.
- Katsayılar için kapalı formda güven aralıkları veya p-değerleri sağlamaz.
- Aynı veri verildiğinde yığın gradyan inişinden daha gürültülü bir çözüme yakınsar; farkı kapatmak için birden fazla geçiş veya ortalama alma (Polyak-Ruppert) gerekir.
- Özellikler çok farklı ölçeklerde olduğunda, standartlaştırma veya AdaGrad uygulanmadıkça performans düşer.
- Doğrusal bir karar sınırı varsayar; özellik mühendisliği olmadan doğrusal olmayan yapıyı yakalayamaz.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Sabit bellek ayak izi: tüm veri kümesini depolamadan tek seferde bir örneği işler.
- Yeni etiketli veriler geldikçe ağırlıkları güncellemeye devam ederek kavram kaymasına uyum sağlar.
- Yığın optimizasyonunun imkansız olduğu milyarlarca örneğe ölçeklenir.
- Risk puanlamasına uygun, sigmoid bağlantısı aracılığıyla kalibre edilmiş olasılık çıktıları üretir.
- L1 ve L2 düzenlileştirme ve tam yığın çözümlerini yansıtan öğrenme oranı programlarıyla uyumludur.
Uygulama alanları
- Sürekli veri akışlarıyla çevrimiçi reklamcılıkta tıklama oranı tahmini.
- Desenlerin geliştiği ve modellerin günlük olarak uyum sağlaması gereken spam ve dolandırıcılık tespiti.
- Geldikçe sosyal medya gönderilerinin gerçek zamanlı duygu sınıflandırması.
- Tam veri kümesinin RAM'e sığmadığı büyük ölçekli ikili risk puanlaması.
- Finansal işlem izlemede kavram kayması senaryoları.
- Daha karmaşık çevrimiçi toplulukları değerlendirmeden önce taban çizgisi akış sınıflandırıcısı.
Nasıl çalışır?
Nasıl çalışır?
Ağırlık vektörü ve sapma sıfıra (veya küçük rastgele değerlere) başlatılır. Bu aşamada veri geçişi gerekmez — model ilk gözlemini hemen işlemek için hazırdır.
Formül
\mathbf{w}_0 = \mathbf{0},\; b_0 = 0Gelen her gözlem için model, mevcut ağırlıkları ve özelliklerinin doğrusal kombinasyonunu hesaplar, ardından bunu sigmoid fonksiyonundan geçirerek etiketinin 1 olma olasılığını elde eder. Bu olasılık hem tahmin olarak hem de gradyan hesaplamasında bir bileşen olarak kullanılır.
Formül
\hat{p}_t = \sigma(\mathbf{w}_t^\top \mathbf{x}_t + b_t),\quad \sigma(z)=\frac{1}{1+e^{-z}}Tahmin edilen olasılık ile gerçek etiket arasındaki ikili çapraz entropi (log-kayıp), mevcut tahminin ne kadar yanlış olduğunu ölçer. Çapraz entropi, ağırlıklar açısından dışbükeydir, bu da gradyan adımlarının veri akışındaki ortalama hatayı güvenilir bir şekilde azalttığını garanti eder.
Formül
\ell_t = -[y_t \log \hat{p}_t + (1-y_t)\log(1-\hat{p}_t)]Kaybın ağırlıklara göre gradyanı, basit artık değer (tahmin edilen olasılık eksi gerçek etiket) çarpı özellik vektörüne indirgenir. Aşırı uyumu önlemek ve büyük ağırlıkları cezalandırmak için bir düzenlileştirme terimi (L2 veya L1) eklenir. Ağırlıklar, örnek başına tek bir geçişte ölçeklendirilmiş gradyanı çıkararak güncellenir.
Formül
\mathbf{w}_{t+1} = \mathbf{w}_t - \eta_t (\hat{p}_t - y_t)\mathbf{x}_t - \eta_t \lambda \mathbf{w}_tÖğrenme oranı zamanla tavlanır — erken aşamalarda hızlı hareket etmek için büyük başlar ve daha sonraki güncellemelerin salınım yapmadan ince düzeltmeler yapması için küçülür. Yaygın programlar, ters zaman bozunması veya çok farklı ölçeklere sahip özellikler için otomatik olarak işleyen AdaGrad tarzı özellik başına adaptasyondur.
Formül
\eta_t = \eta_0 / (1 + \alpha t)
Sık yapılan hatalar
- Özellikleri standartlaştırmayı unutmak: çevrimiçi SGD, aynı öğrenme oranı tüm boyutlara uygulandığı için ölçek farklılıklarına özellikle duyarlıdır.
- Eğitim boyunca sabit bir öğrenme oranı kullanmak: ağırlıklar optimum etrafında salınır ve asla yerleşmez.
- Veri akışındaki sınıf dengesizliğini göz ardı etmek: yetersiz temsil edilen sınıflar az sayıda gradyan sinyali alır ve model çoğunluk sınıfına doğru eğilir.
- Ağırlık tahminlerinin erken aşamalarını son olarak kabul etmek: ağırlıklarının stabilize olmasından önce modelin yeterli örneğe ihtiyacı vardır; çok erken değerlendirme yapmayın.
- Çevrimiçi güncelleme yeteneğini otomatik kavram kayması tespiti ile karıştırmak: ağırlıklar veriye göre kayar ancak ani kaymaları tespit etmek için hala açık kayma izleme (örneğin, ADWIN) gereklidir.
Sık sorulan sorular
Online lojistik regresyon standart lojistik regresyondan nasıl farklıdır?
Standart lojistik regresyon tüm veriyi bir kerede (yığın optimizasyonu) kullanır ve standart hatalarla birlikte kesin maksimum olabilirlik katsayılarını döndürür. Online lojistik regresyon, her örnekten sonra ağırlıkları günceller, yalnızca sabit bellek kullanır ve sonsuz uzun akışları tolere eder, ancak tahminleri daha gürültülüdür ve çıkarımsal istatistikler üretmez.
Öğrenme oranını nasıl seçerim?
Yaygın bir başlangıç noktası, ters zaman bozunması ile birleştirilmiş küçük sabit bir orandır (örneğin, 0,01) veya özellik başına oranları otomatik olarak ayarlayan AdaGrad kullanmaktır. Her zaman önce özellikleri standartlaştırın, ardından ilk oranı ayrılmış bir doğrulama katında veya akışın yakın zamandaki bir penceresindeki çalışan log-kaybı izleyerek ayarlayın.
Online lojistik regresyon çok sınıflı sorunları halledebilir mi?
Evet — paralel olarak eğitilmiş bir-karşıtı-hepsi ikili sınıflandırıcılarına genişletin veya her birine aynı SGD güncelleme kuralını uygulayarak, kategorik çapraz entropi kaybı ve sınıf başına ağırlık vektörleri ile softmax (çok terimli) genellemesini kullanın.
Ne tür bir düzenlileştirme kullanmalıyım?
L2 (ridge) düzenlileştirme varsayılandır: tüm ağırlıkları yumuşak bir şekilde küçültür ve SGD ile iyi anlaşır. L1 (lasso) seyrek ağırlıklar üretir ve otomatik özellik seçimi istediğinizde çok yüksek boyutlu uzaylarda kullanışlıdır, ancak çevrimiçi olarak tam olarak seyrek kalmak için dikkatli kesme veya FOBOS güncellemeleri gerektirir.
Sürekli güncellenen bir modeli nasıl değerlendiririm?
Önsel (test et-sonra eğit) değerlendirmeyi kullanın: ağırlık güncellemesi için kullanmadan önce her örneği tahmin edin, ardından sabit bir ayrılmış küme olmadan mevcut model kalitesinin tarafsız bir tahminini veren kayan bir pencere üzerinde çalışan log-kaybı veya AUC'yi raporlayın.
İlgili yöntemler
Kaynaklar
Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent. In Proceedings of COMPSTAT 2010, 177–186. Physica-Verlag.
Yayın kaynağını açKopyalandı.Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.
DOI kaynağını açKopyalandı.