XGBoost
- 提唱者
- Chen, T. & Guestrin, C.
- 年
- 2016
- 種類
- Ensemble (gradient-boosted decision trees)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
XGBoost(Extreme Gradient Boosting)は、Tianqi ChenとCarlos Guestrinによって2016年に発表されたスケーラブルなツリーブースティングアルゴリズムです。これは、決定木を一つずつ追加していくことで強力な予測器を構築します。各決定木は、それ以前の決定木が残した誤差を修正するように構築され、コンペティションで広く使用されている強力な予測手法です。
手法の背後にある直感
多くの独立したツリーを成長させてそれらを平均化する代わりに、XGBoostはツリーを逐次的に成長させます。各新しいツリーは、現在のモデルがまだ誤っているケースに焦点を当てます。段階的に、アンサンブルは残りの誤差を削減していきます。その間、正則化ペナルティは個々のツリーを単純に保ち、結合されたモデルが訓練データを記憶するのではなく一般化するようにします。
歴史学
XGBoostは、Tianqi ChenとCarlos Guestrinが2016年にACM SIGKDDで開催された論文「XGBoost: A Scalable Tree Boosting System」で発表しました。決定木の正則化勾配ブースティングとスケーラブルで効率的な実装を組み合わせることで、特にデータサイエンスコンペティションで広く採用されている予測アルゴリズムの一つとなりました。
使うべき場面
予測性能が最優先される場合、連続値、カテゴリ値、バイナリ値、またはカウント特徴量と、少なくとも約100の観測値を持つ表形式データに対して、正確な分類または予測にXGBoostを使用してください。正規分布したデータを必要としません。十分なデータと慎重な特徴量エンジニアリングが主な実用的な前提条件です。約100未満のケースでは、勾配ブースティングは過学習する傾向があり、より単純なモデル(ロジスティック回帰や単一の決定木など)の方が信頼性が高くなります。
限界と注意点
- 十分なデータ(約100以上の観測値)が必要。それがないと過学習し、クロスバリデーションの結果が信頼できなくなります。
- 小さなサンプルでは、多くのハイパーパラメータを調整するのに十分なデータがないため、より単純なモデルの方が一般化します。
- 多くのハイパーパラメータとブラックボックスのアンサンブルにより、単一のモデルよりも設定と解釈が困難です。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 表形式データに対する強力な予測精度。これがコンペティションで広く使われる理由です。
- 組み込みの正則化がツリーの複雑さを罰し、過学習の制御に役立ちます。
- 欠損値を許容し、混合特徴量タイプ(連続値、カテゴリ値、バイナリ値、カウント値)を扱います。
- よくスケーリングし、特徴量エンジニアリングの恩恵を直接受けます。
応用
- 多くの特徴量を持つ表形式データに対する分類と予測。
- 精度が最重要視されるコンペティションレベルの予測モデリング。
- 連続値、カテゴリ値、バイナリ値、およびカウント特徴量に対するリスクスコアリングおよび予測タスク。
- 欠損値とエンジニアリングされた特徴量が一般的なモデリング問題。
使い方
使い方
XGBoostは勾配ブースティング法です。これは、多くの浅い決定木を一つのアンサンブルに結合します。ツリーは一つずつ追加され、各新しいツリーは、モデルに既に存在するツリーが残した予測誤差を削減するように適合されます。
このモデルは、データへの適合度を測定する損失項と、ツリーの複雑さを罰する正則化項を合計した目的関数を最小化します。この明示的な複雑さペナルティが、XGBoostが過学習を制御しつつ、柔軟で非線形な関係を適合させることを可能にしています。
数式
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)各ブースティングラウンドで、現在の予測は新しく適合されたツリーの出力を追加することによって更新されます。各ツリーは、目的関数を最も減少させる方向に予測を移動するように選択されるため、アンサンブルの精度はラウンドごとに向上します。
数式
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)すべてのラウンドの後、最終的な予測は各ツリーの寄与の合計であり、分類またはターゲットの予測に使用されます。このモデルは欠損値を許容し、特徴量エンジニアリングの恩恵を受けるため、十分な観測値があれば表形式データで強力なパフォーマンスを発揮します。
よくある落とし穴
- 勾配ブースティングが過学習し、CV推定値が信頼できない小さなサンプル(n < 100)への適用。
- クロスバリデーションによるハイパーパラメータチューニング(例:グリッドサーチ)をスキップし、デフォルトを受け入れること。
- XGBoostはギャップを許容するにもかかわらず、欠損値処理とカテゴリエンコーディングを未決定のままにすること。
- パフォーマンスを報告する前に、適切な訓練/テスト分割またはk分割クロスバリデーションを設定しないこと。
よくある質問
XGBoostはどのくらいのデータが必要ですか?
約100の観測値が妥当な最小値です。100未満のケースでは、勾配ブースティングは過学習する傾向があり、クロスバリデーションの結果が信頼できなくなるため、ロジスティック回帰や単一の決定木のようなより単純なモデルの方が信頼性が高くなります。
XGBoostは正規分布したデータを必要としますか?
いいえ。正規性の仮定はなく、連続値、カテゴリ値、バイナリ値、およびカウント特徴量で機能します。主な実用的な要件は、十分なデータがあり、慎重な特徴量エンジニアリングを行うことです。
XGBoostはRandom Forestとどう違いますか?
Random Forestはツリーを独立に成長させ、それらを平均化して分散を減らします。XGBoostはツリーを逐次的に成長させ、各ツリーは前のツリーのエラーを修正し、ツリーの複雑さに対する正則化ペナルティを追加します。これにより、慎重なチューニングでより高い精度を達成できます。
XGBoostモデルをどのように解釈しますか?
モデルは多くのツリーのアンサンブルであるため、寄与は通常、RMSEやAUCのようなテストセットメトリクス、およびクロスバリデーションされたハイパーパラメータチューニングと共に、SHAPのような特徴量帰属分析で調べられます。
関連する手法
参考文献
Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.
DOI 文献を開くコピーしました。