Skip to content
検索結果に戻る

投票アンサンブル

提唱者
Lam & Suen; Kuncheva, L. I. (systematic treatment)
年
1990s–2004
種類
Ensemble (combination of multiple classifiers by vote)
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

投票アンサンブルは、複数の多様な分類器を独立に訓練し、それらの予測を投票によって結合する。ハード投票は最も多くのモデルが選択したクラスを選び、ソフト投票はそのクラス確率推定値の平均を取る(オプションでモデルごとの重み付けも可能)。結合された予測は通常、個々のメンバーよりも優れており、ベースモデルが適合された後に追加の訓練は不要である。

手法の背後にある直感

5人の医師に診断を求め、多数決で決める状況を想像してほしい。各医師は異なる方法で誤りを犯すかもしれないが、彼らの判断をプールすることで、個々の誤りを相殺できる。投票アンサンブルも同様に機能する。多様なモデルは異なる例で失敗するため、それらを結合した投票は単一のモデルよりも信頼性が高い。ソフト投票は、より自信のあるモデルが確率スコアを通じて最終決定に比例してより多く貢献できるようにすることで、これをさらに鋭くする。

歴史学

多数決による分類器の結合は、1990年代初頭から体系的に研究されており、LamとSuen(1994)、Kittlerら(1998)による顕著な理論的根拠がある。Ludmila Kunchevaの2004年のモノグラフは、パターン分類器の結合に関する決定的な治療法を提供し、ハードおよびソフト投票、加重投票、および多様性の役割をカバーした。ソフト投票は、scikit-learnのVotingClassifierを通じて実用的な人気を得て、単一のAPI呼び出しで任意の推定器を簡単に組み合わせることができるようになった。

使うべき場面

既に訓練された2つ以上の多様な分類器があり、追加の訓練コストなしで、迅速かつ解釈可能な結合を行いたい場合に投票アンサンブルを使用する。個々のモデルが類似の平均精度を持つがエラープロファイルが異なる場合には特に価値があり、それらを結合することで真の改善が得られる。ベースモデルがキャリブレーションされた確率を出力する場合、ソフト投票が好ましい。適切なモデル選択の代わりとして投票アンサンブルを使用しないこと。すべてのベース学習器が弱いか、相関したエラーを犯す場合、それらを結合しても助けにはならない。ステークホルダーまたは規制によって単一モデルの解釈可能性が必要とされる場合は避けること。

限界と注意点

  • ベース学習器が高度に相関したエラーを犯す場合、ゲインは最小限または存在しない。
  • ソフト投票は、すべてのベース学習器がキャリブレーションされ、比較可能な確率推定値を出力することを要求する。
  • 推論コストはベース学習器の数に線形にスケールする。大規模なアンサンブルは遅くなる可能性がある。
  • 最適な結合重みを自動的に学習するメカニズムがない。スタッキングとは異なり、重みは手動で設定する必要がある。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 実装が容易:ベースモデルの適合以外にメタ学習器の訓練は不要。
  • メンバーが多様な場合、単一のベース学習器よりも精度と堅牢性が向上することが多い。
  • ソフト投票は確率キャリブレーションを利用し、通常はハード投票よりも優れている。
  • 異種モデルファミリーをサポートし、任意の分類器の組み合わせを可能にする。
  • ベースモデルの再訓練なしで、ベース学習器の追加または削除が容易。

応用

  • 臨床リスク予測のためのロジスティック回帰、SVM、およびツリーベースモデルの組み合わせ。
  • 複数の言語モデルのファインチューニングからの予測をプールすることによる堅牢なテキスト分類。
  • トップk個の多様なモデルを組み合わせることでリーダーボードスコアが向上するコンペティション機械学習(Kaggleスタイル)。
  • アンサンブルの堅牢性が単一モデルの単純さよりも重要な本番環境。
  • スタッキングやブースティングに労力を費やす前のベースラインアンサンブル。

使い方

使い方

1

K個のベース学習器のセット(これらは、ロジスティック回帰、k近傍法分類器、決定木など、完全に異なるモデルファミリーであってもよい)は、それぞれフル訓練セットまたは独自の調整済み構成で独立に訓練される。ベース学習器間の多様性は不可欠である。同様のエラーを犯すモデルを結合しても、ほとんど利点はない。

2

推論時には、各ベース学習器が新しい入力に対する予測を生成する。ハード投票ではこれは単なるクラスラベルであるが、ソフト投票では各学習器はクラス確率のベクトルを出力する必要があり、これは選択されたすべてのベース学習器が意味のある確率推定値を発行するようにキャリブレーションできるという制約を課す。

3

ハード投票では、アンサンブルは各クラスを予測したモデルの数を数え、最も多くの票を獲得したラベルを割り当てる。同点の場合は、固定ルール(例:最小クラスインデックス)で決着がつく。このモードは、ベース学習器が信頼できる確率を生成できない場合でも機能する。

数式
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]
4

ソフト投票では、アンサンブルはすべてのベース学習器にわたるクラス確率ベクトルの平均(または重みw_kを使用した加重平均)を取り、最も高い平均確率を持つクラスを予測する。ソフト投票は勝者クラスだけでなく確率の大きさも利用するため、ベース学習器が適切にキャリブレーションされている場合、通常はハード投票よりも優れている。

数式
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)
5

アンサンブルは、勝者クラスラベルを返し、ソフト投票モードでは、後続の閾値調整、ランキング、またはキャリブレーション診断に使用できる平均確率ベクトルを返す。ベースモデルが適合された後、追加の訓練ステップは必要ない。

よくある落とし穴

  • 交差検証なしで同じデータで調整されたベース学習器を結合すると、楽観的なエラー推定につながる。
  • 適切にキャリブレーションされていない確率出力(例:生のSVM決定値)でソフト投票を使用すると、助けになるどころか害になる可能性がある。
  • 非常に類似したベース学習器(同じモデルファミリーのすべてのバリアント)を選択すると、多様性が失われ、計算が無駄になる。
  • クラス不均衡の無視:ベース学習器が個別にバランスが取れていない場合、それらの投票は集合的に多数派クラスのバイアスを増幅する。
  • 投票アンサンブルの精度を最終的なものとして扱い、単純な単一モデルが同じ結果を達成するかどうかを確認しない。

よくある質問

いくつのベース学習器を含めるべきか?

固定ルールはないが、3から7個の多様な分類器が一般的な実用範囲である。ある点を超えて学習器を追加しても、リターンの逓減により推論レイテンシが増加するだけで、精度は意味のあるほど向上しない。

ソフト投票をハード投票よりも優先すべきなのはいつか?

すべてのベース学習器が適切にキャリブレーションされた確率出力を生成する場合にソフト投票を使用する。これは、勝者クラスだけでなく、完全な確率分布を使用するため、通常はより高い精度をもたらす。確率が適切にキャリブレーションされていないか、利用できない場合は、ハード投票の方が安全である。

加重ソフト投票の重みをどのように選択するか?

簡単なアプローチは、各モデルを訓練セットでの交差検証精度またはAUCで重み付けすることである。より原則的なアプローチは、保持された検証セットを介して重みを最適化するが、検証セットが小さい場合は過学習のリスクがある。

投票アンサンブルはスタッキングとどう違うのか?

投票アンサンブルは、固定ルール(多数決または平均)でベースモデルの出力を結合する。スタッキングは、ベースモデルの出力でメタ学習器を訓練して最適な結合を学習する。より強力だが、より複雑で、交差検証が正しく使用されない場合、データ漏洩のリスクがある。

多様性は常にアンサンブルを改善するか?

多様性は必要条件であるが、十分条件ではない。ベース学習器は個々にも正確である必要がある。弱い多様な分類器のアンサンブルでも、依然として性能が低い可能性がある。目標は、正確なモデル間の多様なエラーである。

関連する手法

参考文献

  1. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    ISBN:978-0-471-21078-8
    コピーしました。
  2. Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.

    DOI 文献を開く
    コピーしました。