Skip to content
検索結果に戻る

オンライン線形回帰

提唱者
Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
年
1960 (LMS); 1950 (RLS formalization)
種類
Incremental supervised regression
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

オンライン線形回帰は、1回の観測ごとに線形モデルを適合させ、新しいデータポイントが到着するたびに重みを段階的に更新します。バッチ最小二乗法とは異なり、データセット全体を格納したり再処理したりする必要がないため、ストリーミングデータ、非常に大規模なデータセット、およびデータ生成プロセスが時間とともに変化する可能性のある環境に自然に選択されます。

手法の背後にある直感

すべてのデータを収集するのを待つのではなく、単一の測定値ごとに線形予測子のダイヤルを調整することを想像してください。各新しい観測は、現在の推定値がどれだけ間違っていたかを示し、その誤差を減らす方向へ重みベクトルをわずかに動かします。多くの観測を通じて、重みは通常の最小二乗解に近い値に収束しますが、データセット全体をメモリにロードすることなくそこに到達し、根本的な関係がドリフトしても適応し続けることができます。

歴史学

理論的基盤は、ガウスの最小二乗法(19世紀初頭)とプラケットの1950年の再帰的定式化に遡ります。実用的なオンラインバリアントは、1960年のWidrowとHoffによる最小平均二乗(LMS)アルゴリズムとともに登場し、元々は適応信号処理のために開発されました。Zinkevich(2003)によって形式化され、Shalev-Shwartz(2012)によって包括的に調査されたオンライン凸最適化理論は、オンライン線形回帰を厳密な後悔最小化フレームワーク内に配置し、そのほぼ最適な収束保証を示しました。

使うべき場面

データが連続ストリームとして到着し、予測を即座に提供する必要がある場合、バッチ適合のためにデータセットが大きすぎてメモリに保持できない場合、または予測変数と結果の関係が時間とともに変化する可能性があり、モデルが適応する必要がある場合に、オンライン線形回帰を使用します。リアルタイムのプロダクションシステムにおける軽量なベースラインとしても適しています。関係が強く非線形である場合、特徴量エンジニアリングをデータセット全体で全体的に行う必要がある場合、または統計的推論のために信頼区間を持つ正確な OLS 係数が必要な場合は、それらを避けてください。これらの場合はバッチ線形回帰を使用してください。

限界と注意点

  • 学習率の選択に敏感です。大きすぎると振動を引き起こし、小さすぎると収束が遅くなります。
  • 閉形式の標準誤差や p 値を提供しないため、古典的な統計的推論は直接利用できません。
  • L2 正則化を追加しない限り、相関の高い特徴量(多重共線性)に対処するのが難しい場合があります。
  • すべてのデータがすでに利用可能でコンセプトドリフトがない場合、バッチ OLS と比較してパフォーマンスが低下します。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 特徴量の数 p に対して O(p) のメモリでデータを1回の観測ごとに処理します。データセット全体は不要です。
  • コンセプトドリフトに継続的に適応するため、金融時系列やセンサーのストリームなどの非定常環境に適しています。
  • 更新ごとに計算コストが安い:単一の内積と重みベクトルの加算。
  • 複数のストリームまたはシャードにわたって自然に並列化可能です。
  • バッチ再適合を待たずにリアルタイムで予測を生成します。

応用

  • eコマースおよびエネルギー市場におけるリアルタイム価格予測および需要予測。
  • 再帰的最小二乗法を使用した適応信号処理およびノイズキャンセリング。
  • バッチ再適合が不可能な IoT およびセンサーネットワーク環境での継続的なモデル更新。
  • データ生成プロセスが頻繁に変化する金融ティックデータ回帰。
  • ユーザーイベントが到着するにつれて更新される大規模レコメンデーションシステムの特徴量重み。
  • より複雑なモデルが検討される前の AutoML パイプラインにおけるベースラインストリーミングモデル。

使い方

使い方

1

重みベクトルをゼロ(または小さなランダム値)に設定し、ステップサイズを制御する学習率 eta を選択します。非定常ストリームで重みが無限に増加するのを防ぐために、オプションで L2(Ridge)のような正則化項を初期化します。

数式
\mathbf{w}_0 = \mathbf{0},\; \eta > 0
2

到着する各観測値 x_t について、現在の重みベクトルと特徴ベクトルとの内積として予測出力を計算します。この予測は、真のラベル y_t が明らかになる前に行われ、実際のストリーミング設定の逐次的な性質を反映しています。

数式
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_t
3

真のラベルが明らかになった後、予測された二乗誤差を計算します。この瞬時損失は勾配信号を駆動します。重みに対する二乗損失の勾配は、誤差に特徴ベクトルを掛けたものにすぎません。

数式
\ell_t = (y_t - \hat{y}_t)^2
4

LMS(最小平均二乗)更新ルールを適用します。損失の負の勾配の方向に重みを移動させます。ステップサイズ eta は、適応速度とノイズ感度の間のトレードオフを制御します。eta が小さいほど収束は滑らかになり、eta が大きいほど適応は速くなりますが、振動のリスクがあります。

数式
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_t
5

次の観測をすぐに処理するか、小さなミニバッチのオンラインバリアントのために小さなミニバッチをバッファリングします。非定常設定では、減衰する学習率またはスライディングウィンドウの忘却係数により、モデルはコンセプトドリフトに敏感なままになります。完全な再適合は決して必要ありません。

よくある落とし穴

  • 非常に異なる特徴量のスケールを持つデータに固定学習率を使用する場合。更新前に常にオンラインで特徴量を標準化します(例:実行中の平均と分散)。
  • 高次元またはほぼ共線性の設定で正則化を追加するのを忘れると、スパースストリームで重みが発散する可能性があります。
  • オンライン重みを OLS 推定値と同等とみなし、OLS 信頼区間とともに報告すること。それらは同一ではありません。
  • コンセプトドリフト検出を無視すること。データ分布が急激にシフトした場合、固定学習率は信号ではなくノイズを追跡する可能性があります。
  • 長いストリームの最後にのみ精度を評価すること。代わりに、全体を通じて逐次(テスト後学習)評価を使用してください。

よくある質問

オンライン線形回帰は、標準的な(バッチ)線形回帰とどのように異なりますか?

バッチ線形回帰は、データセット全体に対して一度に正規方程式を解き、正確な OLS 解を得ます。オンライン線形回帰は、各観測後に勾配ステップを使用して重みを段階的に更新し、すべてのデータをロードすることなく OLS に近い解に収束します。ただし、正確な推論統計を失うというコストがかかります。

どの学習率を使用すべきですか?

一般的な出発点は、特徴量ベクトルの期待二乗ノルムで割った 0.01 です。グリッドサーチまたは適応型メソッド(AdaGrad、Adam)は、特徴量ごとに学習率を自動的にスケーリングし、固定グローバルレートよりも調整が容易な場合が多いです。

オンライン線形回帰はコンセプトドリフトを処理できますか?

はい。定数(減衰しない)学習率は、モデルをドリフトに敏感に保ちます。急激なシフトの場合、明示的なドリフト検出テスト(例:ADWIN)は、部分的な重みリセットをトリガーできます。関係が定常で最終的な収束が必要な場合は、減衰率の方が適しています。

オンライン設定で正則化は可能ですか?

はい。L2 ペナルティを追加すると、オンライン Ridge(Tikhonov)更新が行われます。各ステップで現在の重みベクトルの小さな割合を減算します。これにより、スパースまたはノイズの多いストリームで重みが大きくなるのを防ぎ、高次元設定では強く推奨されます。

オンラインモデルを公平に評価するにはどうすればよいですか?

逐次(テスト後学習)評価を使用します。各観測値を使用してモデルを更新する前に、その観測値の予測誤差を記録します。これにより、個別の保持されたテストセットなしで、汎化誤差の偏りのない逐次推定値が得られます。

関連する手法

参考文献

  1. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    DOI 文献を開く
    コピーしました。
  2. Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.

    ISBN:978-0130901262
    コピーしました。