何をする手法か?
バギング(bootstrap aggregatingの略)は、単一の学習アルゴリズムの複数のコピーを、トレーニングデータの異なるランダムなサブセットでトレーニングすることにより、バリアンスを低減するアンサンブル手法です。各サブセットは、ブートストラップサンプリング(復元抽出によるランダムなサンプリング)によって作成されます。予測は、多数決(分類)または平均(回帰)によって結合されます。1996年にLeo Breimanによって導入されたバギングは、ランダムフォレストの基礎を形成し、高バリアンスモデルにおける過学習の削減に特に効果的です。
手法の背後にある直感
核となる洞察は、同じモデルを異なるランダムなデータサブセットでトレーニングし、それらの予測を平均化することによって、バイアスを増加させることなくバリアンスを低減できるという点です。モデルが特定のトレーニングサンプルに過学習する場合、異なるブートストラップサンプルは過学習の異なるサブセットを露呈し、平均化によって見せかけのパターンが打ち消されます。バギングはランダム性を利用して機能します。各ブートストラップサンプルはわずかに異なるため、各トレーニング済みモデルもわずかに異なり、それらの集合体は個々のモデルよりも安定しています。
歴史学
バギングは1996年にLeo Breimanによって導入され、統計学のブートストラップ法(Efron, 1979)に基づいて構築されました。Breimanは、バギングがバリアンスを削減することで不安定な学習器の予測誤差を低減することを示しました。この手法は、バギングとランダムな特徴選択を組み合わせたランダムフォレスト(Breiman, 2001)の導入により、基礎的なものとなりました。バギングは、特にアンサンブル学習において、機械学習の標準的な技術として残っています。
使うべき場面
過学習しやすい高バリアンスモデル(例:決定木、ニューラルネットワーク)を扱う場合にバギングを使用します。ベース学習器が不安定な場合(トレーニングデータの小さな変化に敏感な場合)に最も効果的です。バギングは、低バイアス、低バリアンスのモデル(例:kが小さいk-NN、安定したデータに対する線形回帰)にはあまり効果がありません。また、各ベース学習器を独立してトレーニングできるため、並列計算にも適しています。
限界と注意点
- バイアスの削減は提供しません。高バリアンスのベース学習器にのみ効果的です。
- 計算コストはベース学習器の数に比例して増加します。
- ブートストラップサンプルは、意図的なサンプリング戦略と比較して多様性に欠けます。
- ベースモデルが高いバイアスを持つ場合(例:複雑なデータに対する線形モデル)には、性能が向上しない可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- バイアスを増加させることなくバリアンスを低減し、汎化性能を向上させます。
- あらゆる種類のベース学習器と連携し、木のような不安定なモデルも使用できます。
- 容易に並列化可能 — 各ブートストラップサンプルは独立して処理できます。
- OOB(out-of-bag)誤差計算を通じてバリアンス推定値を提供します。
- 最小限のハイパーパラメータチューニングで実装が簡単です。
応用
- 医療診断:ノイズの多い患者データに対する堅牢性を向上させるための疾患分類における決定木のバギング。
- 金融リスクモデリング:市場状況全体での信用デフォルト予測のための決定木のアンサンブル。
- リモートセンシング:過学習を低減して衛星画像を分類するための画像分類器のバギング。
- ゲノミクス:高次元マイクロアレイデータからの遺伝子選択と疾患予測のためのアンサンブル手法。
- 製造品質管理:生産プロセスにおける欠陥検出のためのニューラルネットワークのバギング。
使い方
使い方
ステップ 1 — 元のデータセットと同じサイズのB個のブートストラップサンプルを、トレーニングデータから復元抽出によりランダムにサンプリングして作成します。
ステップ 2 — 各ブートストラップサンプルで独立したベース学習器(例:決定木、ニューラルネットワーク)をトレーニングします。
ステップ 3 — 新しい入力に対して、B個のトレーニング済みベース学習器すべてに通し、それらの予測を収集します。
ステップ 4 — 多数決(分類)または平均(回帰)によって予測を結合します。
よくある落とし穴
- ベース学習器の数が少なすぎると(B < 20)、バリアンス削減の恩恵が減少します。通常、B = 100-500あたりで収穫逓減が発生します。
- ランダムなブートストラップサンプルの代わりに、重複するサブセット(例:連続するデータ分割)でベース学習器をトレーニングすること。
- バギングが過学習を排除すると仮定すること。バリアンスは削減しますが、バイアスのあるモデルはバイアスのあるままです。
- 検証のためにOOB予測を利用しないこと。これは交差検定の効率的な代替手段を見逃すことになります。
よくある質問
ブートストラップサンプル(B)はいくつ使用すべきですか?
B = 50-100から始めて性能を監視します。通常、B = 100-500あたりで効果が頭打ちになります。バリアンス削減が停滞する場合はBを増やします。重要なアプリケーションでは、計算コストにもかかわらずB > 1000が正当化される場合があります。
OOB(out-of-bag)誤差とは何ですか、どのように使用しますか?
各ブートストラップサンプルは、元のデータの約1/3(平均で約36.8%)を除外します。これらのOOBサンプルは、個別の検証セットを必要とせずに、特定のモデルを検証するために使用できます。すべてのモデルのOOB誤差を平均すると、汎化誤差が推定されます。
バギングは交差検定よりも優れていますか?
それらは異なる目的を果たします。交差検定はモデルの性能を推定し、バギングはそれを改善します。アンサンブルをトレーニングし、OOB推定値を使用して検証することで、k分割交差検定のオーバーヘッドを回避できます。
バギングはk-NNのような低バリアンスモデルを改善できますか?
効果的ではありません。バギングは高バリアンスモデル向けに設計されています。低バリアンスモデル(安定した単純なモデル)は、バリアンス削減からほとんど恩恵を受けません。他のアンサンブル手法を検討するか、バイアス削減に焦点を当てるべきです。