Skip to content
検索結果に戻る

スタッキング

提唱者
Wolpert, D.H.
年
1992
種類
Ensemble (heterogeneous meta-learning)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

スタッキング(stacked generalizationとも)は、1992年にDavid Wolpertによって導入されたアンサンブル学習の手法であり、複数の異なるベースモデル(Level-0)の出力を、別のメタモデル(Level-1)を通じて結合します。バギングやブースティングとは異なり、意図的に異種のモデルタイプを使用し、Kaggleコンペティションにおける標準的な最終段階戦略となっています。

手法の背後にある直感

異なるモデルファミリーは異なる種類の間違いを犯します。ツリーアンサンブル、サポートベクターマシン、線形モデルはそれぞれ独自の方法でデータを捉えます。スタッキングはそれらの予測を新しい特徴量として扱い、それらを最適にブレンドする方法を学習するために、もう1つのモデルを訓練します。これにより、メタモデルは各ベースモデルが最も得意な部分に依存し、苦手な部分を割り引くことができ、通常はどの単一モデルよりも優れた結合予測を生成します。

歴史学

Stacked generalizationは、1992年にDavid Wolpertによって、より高レベルのモデルを通じて複数の汎化器を結合する方法として導入されました。このアイデアは後に、2007年にvan der Laan, Polley and HubbardによってSuper Learnerという名前で形式化され、強力な理論的根拠が与えられました。Super Learnerは交差検定を用いてベース学習器のライブラリを結合します。スタッキングはそれ以来、異種モデルのアンサンブルが常にリーダーボードのトップを占める機械学習コンペティションにおける標準的な最終段階戦略となっています。

使うべき場面

予測精度が最優先事項であり、連続的、カテゴリカル、またはバイナリの特徴量を持つ横断的データに対して、結合するのに十分強力で多様なベースモデルがいくつかあり、かつ少なくとも約100の観測値がある場合にスタッキングを使用します。正規分布したデータは必要ありません。およそ100未満の観測値の場合、k分割交差検定では信頼できるLevel-0予測を十分に生成できず、メタモデルが過学習するため、ランダムフォレストやXGBoostのような単一の調整済みモデルの方が安全です。

限界と注意点

  • k分割交差検定が信頼できるLevel-0予測を生成できるように、かなり大きなサンプル(約100以上)が必要です。
  • ベースモデルが多様ではなく、高い相関を持つ場合、利得は減少します。
  • 単一モデルよりも複雑で計算量が多く、全体としての解釈が困難です。
  • 小規模なサンプルでは、ベースモデルの多様性を達成できず、通常は単一モデルで十分です。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 異なるエラーを生成する異種のベースモデルを利用することで、しばしば最高の予測精度を達成します。
  • 柔軟性:あらゆるモデルファミリーの組み合わせをベース学習器として使用でき、その上にシンプルなメタモデルを置くことができます。
  • 仮定が少ない — 正規性の要件がなく、連続的、カテゴリカル、バイナリの特徴量を扱えます。
  • Kaggleのような競争的な予測設定において、実績のある最終段階戦略です。

応用

  • Kaggleのような予測モデリングコンペティションにおける最終段階のアンサンブル学習。
  • 高精度な分類と予測のための異種モデルの結合。
  • 生物統計学および疫学におけるSuper Learnerアンサンブル。
  • 追加の精度を絞り出すことが重要な場合に、強力だが多様なモデルをブレンドすること。

使い方

使い方

1

多様なベース学習器(Level-0)がデータ上で訓練されます。例えば、ランダムフォレスト、勾配ブースティングモデル、SVMなどです。これらのモデルが多様で相互に独立しているほど、スタックの恩恵は大きくなります。ベースモデル間の相関が高い場合、スタッキングの利点は減少します。

2

Level-0の予測は、ベースモデルが適合されたのと同じデータ上ではなく、k分割交差検定を通じて生成されます。このout-of-foldスキームは、データ漏洩を防ぐために不可欠です。各観測値のメタ特徴量は、訓練中にその観測値を見ていないモデルから得られます。

3

メタモデル(Level-1)は、交差検定されたベースモデルの出力に基づいて訓練され、最終的な予測を生成します。メタ学習器は通常、ロジスティック回帰、リッジ回帰、または小規模なXGBoostなど、シンプルに保たれます。これにより、メタ学習器自体が過学習することなく、ベースモデルを結合するための適切な重みを学習できます。

数式
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

よくある落とし穴

  • ベースモデルが訓練されたのと同じデータでLevel-0予測を生成し、メタモデルへのデータ漏洩を引き起こすこと。
  • 多くの相関の高いベースモデルをスタッキングし、大きな利得を期待すること。
  • シンプルな回帰器の代わりに、ベースモデルの出力に過学習する過度に複雑なメタモデルを使用すること。
  • ベースモデルの多様性と信頼できる交差検定が不可能な小規模データセットにスタッキングを適用すること。

よくある質問

スタッキングはバギングやブースティングとどう違うのですか?

バギングとブースティングは同じタイプのモデルを多数構築しますが、スタッキングは意図的に異種のモデルファミリーを結合し、別のメタモデルでそれらをブレンドする方法を学習します。この多様性がスタッキングの利点の源です。

メタ特徴量を構築するために交差検定を使用するのはなぜですか?

メタモデルがベースモデルが自身の訓練データで行った予測に基づいて訓練されると、情報が漏洩し、スタックが過学習します。k分割交差検定を介してout-of-foldでLevel-0予測を生成することで、メタモデルに正直な入力が与えられます。

メタモデルは何であるべきですか?

シンプルに保ちましょう — ロジスティック回帰、リッジ回帰、または小規模なXGBoost。シンプルなメタ学習器は、ベースモデルの出力に過学習することなく、適切なブレンド重みを学習します。

スタッキングを使用すべきでないのはいつですか?

観測値が約100未満の場合、交差検定では信頼できるLevel-0予測を十分に生成できず、ベースモデルの多様性を達成するのが難しいため、調整済みの単一のランダムフォレストまたはXGBoostの方が安全な選択肢です。

関連する手法

参考文献

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    DOI 文献を開く
    コピーしました。
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    DOI 文献を開く
    コピーしました。