勾配ブースティング
- 提唱者
- Friedman, J. H.
- 年
- 2001
- 種類
- Ensemble (sequential boosting of decision trees)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
勾配ブースティング(Gradient Boosting)は、2001年にJerome H. Friedmanによって定式化されたアンサンブル学習手法です。これは、通常は浅い決定木である弱学習器のシーケンスを結合し、それぞれの新しい木が先行する木の残差誤差を最小化するように適合されます。XGBoost、LightGBM、CatBoostなどの人気のある実装の核となるアルゴリズムです。
手法の背後にある直感
勾配ブースティングは、一度に1つの強力なモデルを構築するのではなく、多くの小さな木を連続して構築します。それぞれの新しい木は、現在のアンサンブルがまだ犯している誤りに焦点を当てます。残差誤差を最も減少させる方向に予測を繰り返し微調整することで、弱学習器の連鎖が積み重なり、非常に正確な予測器となります。
歴史学
勾配ブースティングは、Jerome H. Friedmanが2001年の論文「Greedy Function Approximation: A Gradient Boosting Machine」で定式化しました。この論文では、ブースティングを関数空間における勾配降下として位置づけました。現在のアンサンブルの残差にそれぞれ適合する弱学習器を追加するというアイデアは、XGBoost、LightGBM、CatBoostを含む、実用上最も成功した表形式データアルゴリズムの基礎となりました。
使うべき場面
連続的、カテゴリカル、二値、順序特徴を持つ、少なくとも約100の観測値を持つ横断的またはパネルの表形式データにおける、正確な分類と予測に強力な選択肢です。特徴量のスケーリングは一般的に不要ですが、木の数、学習率、最大深度のハイパーパラメータチューニングは重要であり、過学習を防ぐために早期停止が推奨されます。約100未満の観測値では、逐次的な木はノイズを記憶する傾向があるため、ランダムフォレストまたは単一の決定木の方が安全です。
限界と注意点
- 木の数、学習率、最大深度のハイパーパラメータチューニングは重要であり、時間がかかります。
- 逐次ブースティングは、正則化しないと過学習しやすい傾向があるため、早期停止が推奨されます。
- 小規模なサンプル(約100未満のn)では、逐次的な木がノイズを記憶し、早期停止でも不十分です。
- データが少なすぎると、ハイパーパラメータを確実に最適化するための十分な交差検定材料がありません。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 分類と予測の両方において、表形式データで非常に高い予測精度を発揮します。
- 特徴量のスケーリングは一般的に不要であり、連続的、カテゴリカル、二値、順序特徴を扱えます。
- XGBoost、LightGBM、CatBoostなどの広く使用されているライブラリの核となるアルゴリズムを形成します。
- 早期停止と小さな学習率により、バイアス-バリアンスのトレードオフを細かく制御できます。
応用
- 横断的およびパネルの表形式データにおける高精度の分類と予測。
- 最大の予測性能が優先されるリスクスコアリングと結果予測。
- 手動スケーリングなしで、混合型特徴間の複雑な非線形関係をモデリングすること。
- XGBoostやLightGBMなどの本番環境の勾配ブースティングライブラリのエンジンとして機能すること。
使い方
使い方
勾配ブースティングは、弱学習器(通常は浅い決定木)を独立してではなく、次々と訓練します。アンサンブルは単純な初期推測から始まり、その後のすべての木は、現在のモデルがまだ間違っている部分を修正するために追加されるため、精度は段階的に向上します。
各ラウンドで、この手法は現在のアンサンブルの残差誤差を調べ、その残差(損失の負の勾配)に次の木を適合させます。新しい木は小さな学習率の重みで追加されるため、予測は慎重に更新されます: F_m(x) = F_{m-1}(x) + nu * h_m(x)。この逐次的で勾配に導かれた修正が、この手法の名称と精度をもたらしています。
数式
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)最終的な予測は、初期推定値と、途中で蓄積されたすべての小さな木の修正の合計です。木は残差誤差を追いかけるように貪欲に追加されるため、過学習を避けるためには、木の数、学習率、木の深さのチューニングと、早期停止が重要です。
よくある落とし穴
- 早期停止をスキップし、過学習するまでブースティングを過剰なラウンド数実行すること。
- 学習率を高く設定しすぎると、各木が予測を穏やかに微調整する代わりに過剰に修正してしまうこと。
- 逐次的な木がノイズを記憶する約100未満の観測値のサンプルに適用すること。
- n_estimators、learning_rate、max_depthをチューニングせずにデフォルトのハイパーパラメータを受け入れること。
- スケーリングが一般的に不要であるにもかかわらず、距離ベースのモデルのように特徴量のスケーリングが必要であると扱うこと。
よくある質問
勾配ブースティングはランダムフォレストとどう違うのですか?
ランダムフォレストは多くの独立した木を並行して構築し、それらを平均化しますが、勾配ブースティングは木を逐次的に構築し、それぞれの木は先行する木の残差誤差を修正するように適合されます。ブースティングはしばしばより高い精度を達成しますが、過学習により敏感であり、慎重なチューニングが必要です。
なぜ早期停止が推奨されるのですか?
新しい木がそれぞれ残差誤差を追いかけるため、ブースティングの実行が長すぎるとノイズを適合し始めます。早期停止は、検証性能が向上しなくなった時点で訓練を停止し、これが過学習に対する主要な保護策となります。
特徴量をスケーリングする必要がありますか?
ツリーベースの勾配ブースティングでは、分割は大きさではなく順序に依存するため、特徴量のスケーリングは一般的に不要です。重要な調整パラメータは、木の数、学習率、木の深さです。
どのくらいのサンプルサイズが必要ですか?
少なくとも約100の観測値が必要です。それ未満では、逐次的な木がノイズを記憶し、早期停止でも不十分であるため、ランダムフォレストまたは単一の決定木の方が安全な選択肢です。
関連する手法
参考文献
Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
DOI 文献を開くコピーしました。