Skip to content
検索結果に戻る

ブースティング

提唱者
Schapire, R. E.; Freund, Y.
年
1990–1997
種類
Sequential ensemble (iterative reweighting)
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

ブースティングは、逐次的なアンサンブル手法であり、前の学習器が誤った例に繰り返し焦点を当てることで、かろうじて正解を上回る程度の多くの単純な学習器を、単一の高精度モデルに変換します。そして、個々の学習器の精度に比例した重みで、それらすべてを結合します。

手法の背後にある直感

テストを採点して生徒に返却し、修正させる状況を想像してください。各ラウンドで、生徒は間違えた問題により多くの時間を費やします。ブースティングも同様に機能します。弱い学習器が訓練された後、誤分類された例にはより高い重みが与えられるため、次の学習器は難しいケースに集中します。最終的な答えは、すべての学習器の重み付き投票であり、より正確な学習器ほど大きな影響を与えます。この反復的な修正が、ブースティングを単一の単純なモデルよりもはるかに強力なものにしています。

歴史学

ブースティングの理論的基盤は、弱い学習可能性が強い学習可能性を意味することを証明したRobert Schapireによって1990年に築かれました。その後、FreundとSchapireは1997年に最初の実用的なアルゴリズムであるAdaBoostを導入し、機械学習における画期的な成果となりました。Friedmanは2001年に勾配ブースティングとしてアプローチを一般化し、逐次アンサンブル学習を関数空間における勾配降下としてフレーム化しました。この系譜から、XGBoost(2016)、LightGBM(2017)、CatBoost(2018)が生まれ、現在では表形式データにおける機械学習コンペティションのベンチマークを席巻しています。

使うべき場面

表形式の分類または回帰タスクで高い予測精度が必要であり、適度なサイズのラベル付きデータセット(通常、クラスあたり少なくとも50〜100の観測値)がある場合にブースティングを使用してください。複雑で非線形な関係を持つ構造化データに優れており、混合特徴タイプもよく扱います。具体的な実装としては、分類にはAdaBoost、回帰と分類には勾配ブースティングが一般的です。データの品質が低い場合やラベルがノイズが多い場合は、ブースティングを避けてください。なぜなら、逐次的な重み付けはノイズの多いラベルを積極的に増幅し、過学習につながるからです。また、(規制または臨床報告など)明示的な係数を持つ単純で解釈可能なモデルが必要な場合、または訓練時間が非常に限られている場合も避けてください。

限界と注意点

  • ノイズの多いラベルや外れ値に非常に敏感です。難しい例の重み付けは、誤ってラベル付けされた点を増幅します。
  • 正則化(学習率、木の深さ、サブサンプリング)を慎重に調整しない限り、小規模データセットでの過学習を起こしやすいです。
  • 逐次的な訓練は、ランダムフォレストのようなバギングベースの手法よりも本質的に並列化が遅いです。
  • 精度上の利点を実現するには、慎重なハイパーパラメータ調整(ラウンド数、学習率、木の深さ)が必要です。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 表形式データで最先端の精度を達成し、調整すればランダムフォレストを上回ることがよくあります。
  • 反復的な重み付けを通じて難しい例に自動的に焦点を当てるため、適切な損失関数を使用すれば不均衡データに効果的です。
  • さまざまなベース学習器と連携します。浅い木(スタンプ)は一般的で効果的な選択肢です。
  • 勾配ブースティングの拡張機能は、回帰、ランキング、分類のための幅広い損失関数をサポートします。
  • 最新の実装(XGBoost、LightGBM、CatBoost)は高度に最適化されており、大規模データセットにも対応します。

応用

  • 金融、ヘルスケア、マーケティングにおける表形式データの二項および多クラス分類。
  • 住宅価格予測や需要予測などの回帰タスク。
  • 情報検索におけるクリック率およびランキングの問題。
  • 不正検出および異常スコアリング。特にまれなイベントに対する精度が重要です。
  • 探索的分析における特徴選択および変数重要度ランキング。

使い方

使い方

1

すべての訓練例は等しい重みから始まるため、最初の弱い学習器に影響を与える可能性は等しくなります。この均一な初期化により、最初のラウンドはデータの偏りのないビューになります。

数式
w_i^{(1)} = 1/n \; \forall i
2

弱い学習器(しばしば浅い決定木(スタンプ))は、重み付き訓練誤差を最小化するように適合されます。より高い重みを持つ誤分類された例は、学習器を前のラウンドの誤りを修正するように引き寄せます。

数式
h_t = \arg\min_{h} \sum_i w_i^{(t)} \mathbf{1}[h(x_i) \neq y_i]
3

各学習器は、その対数オッズ精度に比例した寄与係数を受け取ります。重み付き誤差が小さい学習器は大きな係数を取得し、偶然に近いパフォーマンスの学習器はゼロに近い係数を取得し、アンサンブルへの影響はほとんどありません。

数式
\alpha_t = \frac{1}{2} \ln\!\left(\frac{1 - \epsilon_t}{\epsilon_t}\right)
4

正しく分類された例の重みは減らされ、誤分類された例の重みは増やされます。この重み付けの変更により、次の学習器は、アンサンブルがまだ誤っている例に不均衡に焦点を当てるようになります。

数式
w_i^{(t+1)} \propto w_i^{(t)} \exp(-\alpha_t y_i h_t(x_i))
5

最終的な予測は、すべての学習器の出力の重み付き合計の符号です。各学習器は係数に比例して投票するため、アンサンブルは多くの弱い分類器から単一の強力な分類器を生成します。

数式
H(x) = \text{sign}\!\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

よくある落とし穴

  • 小さなデータセットで、早期停止なしに高い学習率と多くのラウンドで訓練し、深刻な過学習を引き起こす。
  • 訓練前にラベルノイズを無視する。ブースティングは、他のどの手法よりもノイズの多いラベルを強く適合させます。
  • 交差検証を実行し、訓練セット内の誤差のみを報告する。
  • データセットのサイズやクラスのバランスに合わせて調整せずに、チュートリアルのデフォルトハイパーパラメータを使用する。
  • 解釈可能なモデルと明示的な特徴係数が目標である場合に、ブースティングを選択する。

よくある質問

ブースティングとバギング(ランダムフォレスト)の違いは何ですか?

バギングは、ブートストラップサンプル上で独立した木を並列に訓練し、それらの予測を平均化することで、主に分散を削減します。ブースティングは、各木が前の木の誤りを修正するように逐次的に木を訓練し、主にバイアスを削減します。ブースティングはしばしばより高い精度を達成しますが、ノイズの多いデータでの過学習を起こしやすいです。

どのブースティングアルゴリズムを使用すべきですか?

AdaBoostは二項分類の良い出発点です。ほとんどの表形式回帰または分類タスクでは、XGBoost、LightGBM、またはCatBoostなどの勾配ブースティング実装が実用的な選択肢です。これらは正則化を追加し、元のAdaBoostよりもスケーラビリティがあります。

ブースティングで過学習を防ぐにはどうすればよいですか?

低い学習率(0.01〜0.1)とより多くのラウンド数を組み合わせて使用し、保持された検証セットで早期停止を適用してください。また、木の深さ(通常max_depth 3〜6)を正則化し、各木ごとにサンプル行と列をサブサンプリングすることを検討してください。

ブースティングはクラスの不均衡を扱えますか?

はい、勾配ブースティングフレームワークでは、クラスの重みを設定したり、カスタム損失関数を使用したりできます。AdaBoostの自然な重み付けも役立ちますが、少数派クラスのノイズを増幅する可能性もあるため、前処理(オーバーサンプリングまたはアンダーサンプリング)が依然として有益な場合があります。

ブースティングは解釈可能ですか?

ブースティングアンサンブルは、線形モデルのように直接解釈可能ではありません。しかし、組み込みの特徴量重要度スコアや、SHAP値などの事後ツールは個々の予測を説明できるため、多くの応用研究の文脈で許容されます。

関連する手法

参考文献

  1. Freund, Y. & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    DOI 文献を開く
    コピーしました。
  2. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197–227.

    DOI 文献を開く
    コピーしました。