バギング(ブートストラップ集約)
- 提唱者
- Breiman, L.
- 年
- 1996
- 種類
- Ensemble meta-algorithm (variance reduction via bootstrap aggregation)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
バギング(Bagging)は、ブートストラップ集約(Bootstrap Aggregating)の略で、1996年にレオ・ブライマンによって導入されたアンサンブルメタアルゴリズムです。これは、学習データから独立に描画されたブートストラップサンプル上でベース学習器の複数のコピーを訓練し、それらの予測を(回帰の場合は平均化、分類の場合は多数決によって)結合して、単一のベース学習器よりも実質的に低い分散を持つ最終的な予測器を生成します。
手法の背後にある直感
ある専門家に意見を求めたと想像してください。その答えは、その人の特定の経験に大きく依存します。では、背景がわずかに異なる100人の専門家に意見を求め、その答えを平均化したと想像してください。個々の癖は相殺され、グループの合意ははるかに信頼性が高くなります。バギングは機械学習モデルに対してこれと全く同じことを行います。元のデータから置換抽出によりわずかに異なる多数の学習セットを生成し、セットごとに1つのモデルを訓練し、すべての予測をマージします。各モデルは現実の異なるスライスを見るため、個々のエラーは一致しない傾向があり、その集約は単一のモデルよりもはるかに安定します。
歴史学
レオ・ブライマンは1996年に機械学習におけるバギング予測器を発表しました。これは、不安定な学習器(データの小さな摂動によって出力が大きく変化する学習器)が、学習セットのブートストラップ複製を平均化することによって安定化できるという観察に基づいています。理論的な正当性は、バイアス-バリアンス分解に基づいています。平均化はバイアスを変化させずに分散を削減します。ブライマンは、一連の分類および回帰ベンチマークで単一の決定木よりも一貫した精度向上を実証しました。バギングは急速に基本的なアンサンブル技術となり、ランダムフォレスト(ブライマン、2001)を直接触発しました。ランダムフォレストは、各分割でランダムな特徴の部分集合を追加して、木をさらに非相関化し、さらに大きな分散削減を達成します。今日、バギングは広範なアンサンブル手法の概念的なバックボーンとして機能し、大学院レベルの機械学習カリキュラムの標準的なトピックとなっています。
使うべき場面
バギングは、ベース学習アルゴリズムが高分散(つまり、学習データの小さな摂動に敏感)であり、その分散の削減が誤差の主な原因である場合に適切です。完全に成長した、剪定されていない決定木が典型的な例です。バギングは、表形式データでの分類と回帰の両方に適しており、データ分布に関する仮説を必要とせず、混合特徴タイプを扱います。質の高いB個の独立したブートストラップサンプルをサポートするのに十分な大きさのデータセット(実用的には少なくとも約30個の観測値が下限ですが、数百個が望ましい)の場合に最も有益です。ベース学習器がすでに安定している場合(例:適切に指定された問題に対する線形回帰)や、主要な誤差源が分散ではなくバイアスである場合(そのような場合はブースティング手法がより適切です)には、バギングは有益ではありません。
限界と注意点
- バイアスを削減しません:ベース学習器が学習不足の場合、バギングはそれを修正できません。
- アンサンブル予測は、単一モデルよりも解釈が困難です。単一の決定木の視覚的な構造のアナログはありません。
- メモリとストレージはBに線形にスケールします。数百個の大きなモデルをメモリに保持することは、実行不可能になる可能性があります。
- Bが増加するにつれて、利得は急速に減少します。パフォーマンスは通常、B = 500よりもはるかに前にプラトーに達します。
- 安定したベース学習器(例:適切に指定された線形回帰)にバギングを適用しても、ほとんど改善が得られません。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 推定量の分散をバイアスを増加させることなく直接削減し、単一のベースモデルよりも安定した予測を生成します。
- トリビアリー並列化可能:各ブートストラップイテレーションは独立しているため、大規模なアンサンブルを計算可能にします。
- 組み込みのOOB誤差推定により、追加のデータコストなしで正直な汎化推定値が得られます。
- モデルに依存しないメタアルゴリズム:十分に不安定なベース学習器(木、ニューラルネットワーク、最近傍)と互換性があります。
- 学習セット内の外れ値に対してロバスト:単一の異常な観測値はほとんどのブートストラップサンプルから欠落しています。
応用
- 単一の決定木が過学習するような、ノイズの多い表形式データ上で安定した分類および回帰モデルを構築すること。
- B個のベース学習器にわたる予測の広がりを調べることによる予測区間の生成。
- アンサンブル全体で各特徴が順列化されたときのOOB精度の低下による特徴重要度推定。
- アンサンブルのベースライン:より洗練された手法(ブースティング、スタッキング)が単純な集約よりもどれだけ改善するかを定量化するための迅速なベンチマーク。
使い方
使い方
元のサイズnの学習データセットからB個の独立したブートストラップサンプルが描画されます。各サンプルは、元のデータからn個の観測値を置換抽出によって生成されるため、平均して各サンプルは約63.2%のユニークな学習インスタンスを含みます。残りの約36.8%は除外され、そのイテレーションのアウトオブバッグ(OOB)セットを形成します。
数式
\mathcal{D}_b = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^{n}, \quad (\mathbf{x}_i^*, y_i^*) \overset{\text{i.i.d.}}{\sim} \hat{F}_n, \quad b = 1, \dots, Bベース学習アルゴリズム(最も一般的なのは完全な深さまで成長した決定木ですが、十分に不安定な学習器であれば何でも適格です)が各ブートストラップサンプル上で独立に適合され、B個の異なるモデルが得られます。重要な要件は不安定性です。つまり、小さなデータの摂動が大きなモデルの変化を引き起こす場合、バギングは最大の分散削減をもたらします。
数式
\hat{f}_b = \mathcal{A}(\mathcal{D}_b)回帰タスクの場合、B個のモデルの出力は平均化されます。この平均化ステップは分散削減の主要なメカニズムです。独立性の仮定の下では、B個の同一分布のモデルの平均の分散は、単一モデルの分散の1/Bになります。正の相関がある場合でも、削減は実質的です。
数式
\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(\mathbf{x})分類タスクの場合、各ベース学習器はクラスラベルに対して1票を投じ、最も多くの票を獲得したクラスが最終予測として返されます。同票の場合は任意に破られます。多数決投票は、各ベース学習器によって生成されたクラス確率推定値の平均化と漸近的に等価です。
数式
\hat{y}(\mathbf{x}) = \underset{k}{\operatorname{arg\,max}} \sum_{b=1}^{B} \mathbf{1}\!\left[\hat{f}_b(\mathbf{x}) = k\right]各ベース学習器は約63.2%のデータで訓練されるため、残りの観測値は、その学習器にとって正直な保持されたテストセットとして機能します。各観測値を見なかったすべての学習器にわたるこれらのOOB予測の平均化は、個別の検証フォールドや交差検証を必要とせずに、汎化誤差のほぼ不偏な推定値を提供します。
数式
\widehat{\text{Err}}_{\text{OOB}} = \frac{1}{n} \sum_{i=1}^{n} L\!\left(y_i,\; \frac{1}{|\mathcal{B}_i^c|} \sum_{b \in \mathcal{B}_i^c} \hat{f}_b(\mathbf{x}_i)\right)よくある落とし穴
- 低分散ベース学習器(例:リッジ回帰)にバギングを適用し、大きな精度向上を期待すること。
- Bを小さすぎる値(例:B < 10)に設定すると、集約がまだノイズが多く、OOB推定値が信頼できなくなります。
- クラス不均衡の無視:バギングは各ブートストラップサンプルで元のデータのクラス分布を維持するため、深刻な不均衡がすべての学習器に複製されます。
- バギングとブースティングの混同:バギングは分散を削減するために独立したサンプルでモデルを並列に訓練しますが、ブースティングはバイアスを削減するためにモデルを逐次的に訓練します。これらは異なる誤差源に対処します。
- OOB誤差を、データセットが非常に小さい場合に適切な保持評価の代替として扱うこと。その領域ではOOB推定値が楽観的になる可能性があります。
よくある質問
いくつのブートストラップサンプルBを使用すべきですか?
ブライマン(1996)は、パフォーマンスが比較的早く安定することを発見しました。決定木の場合、B = 50〜100で十分なことがよくあります。Bを数百を超える値に増やしても、収穫逓減の法則が適用されます。Bが増加するにつれてOOB誤差を監視し、プラトーに達したら停止します。
バギングとランダムフォレストの違いは何ですか?
ランダムフォレストは、各木の各分割でランダムな特徴の部分集合を追加することによってバギングを拡張します。この追加のランダム化により、ベース学習器の非相関性がさらに高まり、バギング単独では達成できない分散が削減されます。したがって、完全に成長した木を持つバギングは、すべての特徴が各分割で考慮されるランダムフォレストの特殊なケースです。
決定木以外の学習器にもバギングを適用できますか?
はい。不安定な学習器、つまり予測が学習データのわずかな変化によって大きく変化する学習器は、バギングの恩恵を受けることができます。ニューラルネットワーク、k最近傍、剪定されていない回帰木はいずれも適格です。適切に指定されたモデルを持つ線形回帰のような安定した学習器は、削減すべき分散がほとんどないため、ほとんど利益を得られません。
OOB誤差は交差検証の信頼できる代替手段ですか?
中程度から大規模なデータセットでは、OOB誤差は汎化誤差のほぼ不偏な推定値であり、追加のモデル適合が不要なため計算コストがかかりません。非常に小さなデータセット(約50未満のn)では、OOB推定値は楽観的になる可能性があり、交差検証が好ましいです。
関連する手法
参考文献
Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2), 123–140.
DOI 文献を開くコピーしました。Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8.7). Springer.
ISBN:978-0-387-84857-0コピーしました。James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8.2). Springer.
ISBN:978-1-4614-7138-7コピーしました。