Skip to content
検索結果に戻る

オンライン学習

提唱者
Rosenblatt, F.; Littlestone, N.; Shalev-Shwartz, S. (key contributors)
年
1958–2000s
種類
Learning paradigm (sequential model update)
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

オンライン学習は、固定データセットで一度だけトレーニングするのではなく、新しいデータポイントが到着するたびにモデルが段階的に更新される機械学習のパラダイムです。データが継続的にストリーミングされる場合、ストレージが限られている場合、または基盤となる分布が時間とともに変化する場合に不可欠です。理論的なパフォーマンスは、事後的に最良の固定予測子に対する累積後悔(cumulative regret)によって測定されます。

手法の背後にある直感

従来のバッチ学習では、まずすべてのデータを収集してからトレーニングを行います。オンライン学習はこの逆を行います。モデルは一度に1つの例を受け取り、予測を行い、真の結果を確認し、すぐに自身を更新します。これは、年次末まで待つのではなく、取引ごとに戦略を調整するトレーダーを想像してください。主要な理論的保証は、低い後悔です。多くのラウンドにわたって、オンライン学習者の総損失は、事後的に選択された単一の最良の静的戦略の損失とほぼ同じです。

歴史学

オンライン学習パラダイムは、Rosenblattのパーセプトロン(1958)に遡り、理論的にはLittlestone(誤り境界モデル、1988)およびFreund & Schapire(Winnow、Hedge、1990年代)によって形式化されました。多くのアルゴリズムにわたる後悔分析を統一するオンライン凸最適化フレームワークは、Zinkevich(2003)によって開発され、Shalev-Shwartz(2011)によって広範に調査されました。FTRLおよびAdaGradのバリアントは、Googleなどの企業で大規模な産業システムを支えています。

使うべき場面

データが継続的なストリームとして到着し、ゼロから再トレーニングすることが非現実的な場合。データの分布が時間とともに変化し(概念ドリフト)、モデルが完全な再トレーニングなしで適応する必要がある場合。または、ストレージとメモリの制約により、完全なデータセットを保持できない場合にオンライン学習を使用します。レコメンデーションシステム、不正検出、自然言語処理パイプライン、およびセンサーデータアプリケーションに適しています。データ量が少なく静的である場合(バッチ学習の方がシンプルで同等に効果的)、収束のために完全なデータセットを複数回見る必要がある場合(例:小さなセットでのディープニューラルネットワーク)、または再現性とオフライン評価パイプラインが重要であり、ストリーミングインフラストラクチャが利用できない場合は使用しないでください。

限界と注意点

  • 学習率とハイパーパラメータの選択に敏感です。不適切なレートは、収束の遅延または不安定性を引き起こします。
  • 任意のステップでのパフォーマンスは、例の順序に依存するため、結果は順序に敏感です。
  • バッチ評価メトリック(クロスバリデーション、ホールドアウトテストセット)は直接適用できません。代わりに逐次評価(prequential evaluation)が必要です。
  • ディープニューラルネットワークのトレーニングは通常、データに対する複数回のパス(エポック)を必要とし、厳密な単一パスオンライン設定とは競合します。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 定数メモリで無限のデータストリームを処理できるため、大規模または無限のデータセットにスケーラブルです。
  • 明示的な再トレーニングトリガーなしで、概念ドリフトと分布シフトに自動的に適応します。
  • 後悔の境界を通じて強力な理論的保証を提供し、あらゆる固定競合相手に対する最悪の場合のパフォーマンスを定量化します。
  • 低遅延の更新により、リアルタイムおよび時間制約のあるアプリケーションに適しています。
  • 多くのアルゴリズム(SGD、AdaGrad、FTRL)は、よく理解された収束性と後悔の特性を持っています。

応用

  • リアルタイムクリック率予測およびオンライン広告(GoogleスケールでのFTRL-Proximal)。
  • 即時のモデル更新を必要とする金融取引ストリームでの不正および異常検出。
  • 語彙が進化するニュースまたはソーシャルメディアフィード上の自然言語処理パイプライン。
  • データ量がバッチストレージを排除するセンサーおよびIoTデータ分類。
  • ユーザーの好みの変化に即座に適応する必要があるレコメンダーシステム。
  • スパムの定義が継続的に進化する適応型スパムフィルタリング。

使い方

使い方

1

各タイムステップtにおいて、学習者はデータストリームから新しい特徴ベクトルx_tを受け取ります。インスタンスは即座に処理され、永続的に保存されないため、このパラダイムは無限のデータストリームに対してもメモリ効率が高くなります。

2

現在のモデルf_tは、真のラベルが明らかにされる前にx_tの予測を生成します。モデルは、線形分類器、小さなニューラルネットワーク、決定ルール、またはメモリ内に維持される任意のパラメトリック関数である可能性があります。

数式
\hat{y}_t = f_t(x_t)
3

予測後、学習者は真のラベルy_tを観測し、損失を計算します。このフィードバック信号は、現在の予測がどれだけ間違っていたかを定量化し、後続のパラメータ更新を推進します。

数式
\ell_t = \ell(\hat{y}_t, y_t)
4

モデルパラメータは、学習率でスケーリングされた、現在のパラメータに対する損失の勾配を使用して更新されます。一般的なアルゴリズムには、パーセプトロン、確率的勾配降下法(Stochastic Gradient Descent)、AdaGrad、およびFollow-the-Regularized-Leader(FTRL)が含まれます。

数式
w_{t+1} = w_t - \eta_t \nabla \ell_t
5

パフォーマンスは累積後悔によって評価されます。これは、オンライン学習者の総損失と、事後的に知られている最良の固定予測子の総損失との差です。サブ線形後悔(例えば、O(sqrt(T)))は、学習者がほぼ最適な動作に収束することを保証します。

数式
R_T = \sum_{t=1}^{T} \ell_t - \min_{f} \sum_{t=1}^{T} \ell(f(x_t), y_t)

よくある落とし穴

  • AdaGradまたは減衰スケジュールが必要な場合に固定学習率を使用すること。これにより、学習が遅くなるか、発散します。
  • 概念ドリフトの監視を無視すること。オンラインモデルであっても、明示的に追跡されない限り、突然の分布変化に遅れる可能性があります。
  • 「オンライン学習」とウェブベース学習(eラーニング)を混同すること。機械学習の意味は、厳密には段階的なモデル更新です。
  • バッチクロスバリデーションを使用して評価すること。逐次(テスト後トレーニング)評価ではなく、パフォーマンスを過大評価または過小評価します。
  • 単純なバッチ法と適切なクロスバリデーションの方が適切な、小さな静的データセットにオンライン学習を適用すること。

よくある質問

オンライン学習は確率的勾配降下法と同じですか?

SGDはオンライン学習で最も一般的に使用される最適化アルゴリズムですが、同一ではありません。オンライン学習はパラダイム(1つの例を処理し、更新し、次に進む)であり、SGDは更新ルールです。オンライン学習は、パーセプトロン、AdaGrad、またはFTRLなどの他の更新ルールを使用する場合があります。

オンライン学習でトレーニングされたモデルをどのように評価しますか?

逐次評価(テスト後トレーニングとも呼ばれる)を使用します。到着する各例について、まず予測し、エラーを記録し、次に更新します。エラーの実行平均は、個別のホールドアウトセットを必要とせずに、リアルタイムパフォーマンスのバイアスのない推定値を提供します。

オンライン学習は概念ドリフトをどのように処理しますか?

パラメータは各例の後に更新されるため、モデルは自然に遅い分布シフトを追跡します。急激なドリフトの場合は、エラー率または統計テスト(例:DDM、ADWIN)を監視することによって明示的に検出され、より高い学習率またはモデルリセットが必要になる場合があります。

後悔とは何ですか、そしてなぜそれが重要ですか?

後悔とは、完全な事後知識を持つ最良の固定予測子と比較して、オンラインアルゴリズムが被る累積的な追加損失です。サブ線形後悔(Tよりも遅く成長する)は、平均ラウンドあたりの損失が最適に収束することを保証し、厳密な最悪の場合のパフォーマンス証明を提供します。

ディープニューラルネットワークはオンラインでトレーニングできますか?

はい、ただし注意が必要です。DNNは通常、安定した収束のためにデータに対する複数エポックを必要とし、厳密な単一パスオンライン制約とは競合します。実際には、ミニバッチストリーミングSGDが妥協策として使用されます。つまり、重みを更新する前に少数の例の最近のバッチを処理します。

関連する手法

参考文献

  1. Shalev-Shwartz, S. (2011). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    DOI 文献を開く
    コピーしました。
  2. Cesa-Bianchi, N. & Lugosi, G. (2006). Prediction, Learning, and Games. Cambridge University Press.

    ISBN:978-0-521-84108-5
    コピーしました。