ブースティングアンサンブル
- 提唱者
- Robert Schapire
- 年
- 1990
- 種類
- sequential ensemble
- 系統
- Ensemble
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
ブースティングは、弱学習器を逐次的に訓練し、以前のモデルが誤分類したサンプルに焦点を当てることで、それらを強力な予測器に結合するアンサンブル手法です。各新しい弱学習器は、その訓練タスクの難易度に応じて重み付けされ、最終的な予測は重み付き投票によって行われます。Schapire (1990) によって開拓され、AdaBoost (Freund & Schapire, 1997) で洗練されたブースティングは、逐次的な重み付けを通じて、弱学習器(ランダムよりわずかに優れている程度)を強学習器に変換します。
手法の背後にある直感
核となる考え方は、困難な事例に繰り返し焦点を当てることです。まず弱いモデルを訓練し、それが誤分類するサンプルを特定し、次にそれらの誤分類されたサンプルに重みを増やして新しい弱いモデルを訓練します。これにより、後続の各モデルは、以前のモデルが見逃したパターンを学習することを余儀なくされます。反復を重ねるにつれて、アンサンブルは、その精度によって重み付けされた弱いモデルを結合し、強力な予測器を生成します。バギング(並列)とは異なり、ブースティングは本質的に逐次的であり、各モデルは以前のモデルの性能に依存します。
歴史学
ブースティングは、弱学習器を強学習器に結合できることを示すSchapireの1990年の理論的結果から生まれました。AdaBoost (Freund & Schapire, 1997) は、適応的な重み付けを導入することでブースティングを実用化しました。勾配ブースティング (Friedman, 2001) はフレームワークを一般化し、任意の損失関数の最適化を可能にしました。XGBoost、LightGBM、CatBoostのような現代のバリアントは業界標準となり、数多くの機械学習コンペティションで勝利を収めています。
使うべき場面
弱学習器があり、それらを強力なアンサンブルに結合したい場合にブースティングを使用します。これは、バイアスとバリアンスの両方を削減するのに特に効果的です。ブースティングは、中程度の複雑さのベース学習器(例:深さ3-4の浅い木)で最もよく機能し、これらは繰り返し改善できます。ベース学習器がすでに強力な場合や、高速な訓練が必要な場合は、逐次的なブースティングは計算コストが高いため、ブースティングを避けてください。
限界と注意点
- 逐次的な訓練は、バギングのような並列手法と比較して計算コストが高いです。
- ノイズの多いデータや外れ値に敏感です(困難な事例に過度に重みを置くため)。
- 学習率、反復回数、ベース学習器の複雑さの慎重なチューニングが必要です。
- 反復回数が多すぎると過学習する可能性があります。早期停止または検証モニタリングが必要です。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- バイアスとバリアンスの両方を削減し、しばしば優れた汎化性能を達成します。
- 反復的な重み付けを通じて、弱学習器を強学習器に変換します。
- エラー削減に関する理論的保証(特定の条件下で)。
- 決定木のような低バイアス、高バリアンスのベース学習器と相性が良いです。
- 訓練データ中の無関係な特徴やノイズに対してロバストです。
応用
- 信用リスク評価:浅い決定木をブースティングして、信用力のある借り手をより高い精度で分類します。
- 顔検出:コンピュータビジョンシステムにおけるリアルタイム顔検出のためのHaarカスケードとAdaBoost。
- テキスト分類:感情分析と文書分類のための勾配ブースティング。
- 医療診断:高感度・高特異度で疾患予測を行うための弱分類器のブースティング。
- 不正検出:金融データにおける不正取引を検出するためのアンサンブルブースティング手法。
使い方
使い方
すべての訓練サンプルに等しい重みから始めます。
各反復において、重み付けされた訓練データで弱学習器(例:浅い決定木)を訓練し、そのエラー率を計算し、誤分類されたサンプルの重みを増やします。
各弱学習器にその精度に基づいて重みを割り当てます。より正確な学習器はより高い重みを持ち、弱い(ほぼランダムな)学習器はより低い重みを持ちます。
新しいサンプルに対しては、すべての弱学習器からの予測を重み付き投票によって集約します。ここで重みは各学習器の精度を反映します。
よくある落とし穴
- 強力なベース学習器(例:深い決定木)を使用すると、ブースティングの目的が損なわれます。弱学習器に固執してください。
- 検証エラーを監視せずに反復回数を増やしすぎると、過学習につながります。
- 学習率を高く設定しすぎると、サンプル重みの不安定性を引き起こします。
- サンプル外性能を監視しないと、ブースティングはチェックされない場合、訓練ノイズに過学習する可能性があります。
よくある質問
弱学習器とは何ですか、またどの程度弱いべきですか?
弱学習器とは、エラー率が50%をわずかに下回る(ランダム推測より優れている)分類器です。実際には、深さ2-3の決定木や短い線形分類器のような単純なモデルを使用します。ベース学習器のエラーが45%を超える場合、ブースティングはそれを改善します。10%未満の場合、学習器は強すぎ、ブースティングはほとんど価値を追加しません。
ブースティングは何回反復すべきですか?
50-100回の反復から始め、検証エラーを監視します。早期停止を使用します。検証エラーが数回の反復で横ばいになるか増加し始めたら、訓練を停止します。本番環境では、データサイズと複雑さにもよりますが、100-1000回の反復が一般的です。
ブースティングはバギングとどう違うのですか?
バギングは、ランダムなサブセット上でベース学習器を並列に訓練し、予測を平均化します(重み付けなし)。ブースティングは、困難な事例を再重み付けしながら逐次的に訓練し、重み付き投票を使用します。バギングはバリアンスを削減します。ブースティングはバイアスとバリアンスの両方を削減します。バギングは高速ですが、ブースティングはより強力です。
ブースティングはなぜ反復回数が多すぎると過学習するのですか?
反復回数が増えるにつれて、外れ値の重みが指数関数的に増加し、アンサンブルがノイズに適合する原因となります。訓練エラーは減少し続けますが、テストエラーは増加する可能性があります。検証エラーを監視し、増加し始めたら停止することで、早期停止を使用して過学習を防ぎます。
関連する手法
参考文献
Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197-227.
DOI 文献を開くコピーしました。Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119-139.
DOI 文献を開くコピーしました。