AdaBoost
- 提唱者
- Freund, Y. & Schapire, R.E.
- 年
- 1997
- 種類
- Ensemble (sequential boosting of weak learners)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
AdaBoost(Adaptive Boosting)は、Yoav FreundとRobert Schapireが1997年に発表した、オリジナルのブースティングアルゴリズムです。これは、誤分類された観測値により大きな重みを与えることで、一連の単純な弱学習器を結合します。勾配ブースティングの先駆けであり、シンプルで解釈性が高く、分類における強力なベースラインとなります。
手法の背後にある直感
単一の浅い木は弱学習器であり、当て推量よりわずかに優れている程度です。AdaBoostは、このような多くの弱学習器を順次学習させることで、一つの強力な予測器に変えます。各学習器が学習された後、誤分類された観測値にはより大きな重みが与えられ、次の学習器は、他の学習器が誤分類し続ける困難なケースに焦点を当てます。最終的な予測は重み付き投票であり、より正確な学習器がより大きな影響力を持ちます。
歴史学
AdaBoostは、1997年にYoav FreundとRobert Schapireによって、ブースティングに適用されるオンライン学習の決定理論的汎化として導入されました。これは最初の実用的なブースティングアルゴリズムであり、多くの弱い学習器を強力な学習器に結合できることを示しました。この研究は、ブースティングファミリー全体の基礎となりました。これは勾配ブースティングやXGBoostのような現代のツールの直接の先駆けです。
使うべき場面
連続的、カテゴリカル、またはバイナリの特徴を持ち、少なくとも約50の観測値を持つ横断的な表形式データに対する分類および予測に適しており、シンプルで解釈可能なブースティングベースラインが必要な場合に有効です。AdaBoostは正規性の仮定を置きませんが、ノイズの多いデータや外れ値に敏感であるため、まず外れ値のスクリーニングを行う必要があります。過学習のリスクは小さいですがゼロではないため、推定器の数を制御して管理します。小さなサンプルでは、より単純なロジスティック回帰や、よりロバストなRandom Forestの方が安全です。
限界と注意点
- 指数損失のため、ノイズの多いデータや外れ値に敏感であり、外れ値のスクリーニングが必要。
- 過学習のリスクは低いがゼロではなく、推定器の数によって制御する必要がある。
- 小さなサンプル(約50未満)では、ノイズの多い観測値が過度に重み付けされ、各反復で性能が悪化する可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 設定するパラメータが少なく、シンプルで解釈可能。
- 深さ1の弱い学習器を強力な分類器に変え、堅牢な既製のベースラインとなる。
- 正規性の仮定がなく、連続的、カテゴリカル、バイナリの特徴を扱える。
- 勾配ブースティングの先駆けであり、明確な適応重み付けメカニズムを持つ。
応用
- 横断的な表形式データにおける分類ベースライン。
- シンプルで解釈可能なブーストモデルが好まれる予測タスク。
- 勾配ブースティングに進む前に、ブースティングの概念を教え、デモンストレーションすること。
- 多くの浅い決定スタンプを単一の強力な分類器に結合すること。
使い方
使い方
すべての訓練観測値は等しい重みから始まります。これらの重みは、各連続する弱学習器に対し、特定の観測値を正しく分類することにどれだけ注意を払うべきかを伝えます。
弱学習器(通常は決定スタンプ、すなわち深さ1の木)は、重み付けされたデータに適合されます。非常に単純であるため、それ単独では偶然よりわずかに優れているに過ぎません。
学習器の全体的な精度が最終投票におけるその発言力を決定し、誤分類された観測値の重みが増加されるため、次の学習器はそれらに集中します。この更新は指数損失関数によって駆動されます。これは誤分類を急激に増加する割合で罰するため、AdaBoostがノイズの多い点や外れ値に敏感である理由でもあります。
数式
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])多くのラウンドの後、弱学習器は、各学習器の精度によって重み付けされた重み付き多数決投票によって、単一の予測にまとめられます。この多くの単純で焦点を絞った学習器の合計が、一つの強力な分類器を形成します。
数式
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)よくある落とし穴
- 外れ値を事前にスクリーニングせずに、外れ値だらけのデータでAdaBoostを実行すること。
- 推定器の数を調整せずに無制限に増やすこと。
- 約50未満の観測値のサンプルで使用すること。この場合、ノイズの多い点が重み付けを支配してしまう。
- ノイズの多いデータにより適したRandom Forestのような、よりロバストなアンサンブルがあるにもかかわらず、AdaBoostに手を出すこと。
よくある質問
AdaBoostはRandom Forestとどう違うのですか?
Random Forestは多くの独立した木を並行して構築し、それらを平均化します(バギング)。AdaBoostは弱学習器を順次構築し、それぞれが前の学習器が誤分類したケースに焦点を当てます(ブースティング)。指数損失のため、AdaBoostはノイズや外れ値に敏感ですが、Random Forestはよりロバストです。
AdaBoostはなぜ外れ値に敏感なのですか?
誤分類を急激に増加する割合で罰する指数損失関数を使用するためです。継続的に誤分類される点(しばしば外れ値やノイズの多い観測値)は重みを獲得し続けるため、後の反復を支配し、モデルを劣化させる可能性があります。
いくつの推定器を使用すべきですか?
推定器(弱学習器)の数は、AdaBoostの小さいながらも実際にある過学習のリスクを制御します。検証性能が向上している間は数を増やし、性能が横ばいになるか悪化し始めたら停止します。
ここでの「弱学習器」とは何ですか?
通常は決定スタンプ、つまり深さ1の決定木です。それ単独では偶然よりわずかに優れているに過ぎませんが、AdaBoostはそれらの多くを、それぞれの精度で重み付けして、単一の強力な分類器に結合します。
関連する手法
参考文献
Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.
DOI 文献を開くコピーしました。