Skip to content
検索結果に戻る

半教師ありスタッキングアンサンブル

提唱者
Combines Wolpert (1992) stacking with semi-supervised learning principles
年
2000s–2010s
種類
Ensemble (stacked generalization with unlabeled data augmentation)
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

半教師ありスタッキングアンサンブルは、訓練例のうちラベルが付与されているのが一部に過ぎない設定に対して、古典的なスタック一般化フレームワークを拡張したものである。まずベース学習器をラベル付きデータで訓練し、次にそれらを用いてラベルなし例に擬似ラベルを割り当てる。拡張されたデータセットはより強力なベースモデルを訓練するために用いられ、そのアウトオブフォールド予測がメタ学習器への入力となり、ラベル付き構造とラベルなし構造の両方を活用する二層アンサンブルが得られる。

手法の背後にある直感

スタッキングは、多様なベースモデルの予測値に基づいてメタ学習器を訓練することにより、個々のモデルよりも既に優れている。半教師ありスタッキングは、さらに工夫を加える。すなわち、大量のラベルなし例を破棄する代わりに、現在のベースモデルを用いてある信頼度閾値をもってそれらのラベルを推測し、擬似ラベルが付与された例を訓練に再び取り込み、ベースモデルを再訓練し、繰り返す。各イテレーションでベースモデルは学習するためのデータが増えるため、メタ学習器のために生成されるメタ特徴量は、追加の人手による注釈を必要とせずに、次第に情報量が増していく。

歴史学

スタック一般化は、1992年にWolpertによって、学習されたメタ学習器を介して複数のモデルを組み合わせる方法として形式化された。半教師あり学習の原理――ラベルなしデータを使用して教師ありモデルを改善すること――は、2006年のMIT Pressの書籍でChapelle、Schölkopf、Zienによって統合された。両者の明示的な組み合わせである半教師ありスタッキングは、2000年代から2010年代にかけて応用機械学習の文献に登場し、特にコンペティション機械学習や注釈が乏しいドメインで採用された。

使うべき場面

ラベル付きデータセットが小さく、ラベルなし特徴ベクトルが大量にある分類または回帰タスクの場合に半教師ありスタッキングを使用する。これは、注釈が高価な医療画像、NLP、またはリモートセンシングでよく見られる設定である。特に、ラベルなしデータがラベル付きデータと同じ分布から抽出され、少なくとも3~5の多様なベース学習器ファミリーが利用可能な場合に効果的である。ラベルなしプールが小さい場合(標準スタッキングに対する利点がない)、ラベル付きセットが既に大きい場合(半教師ありの利点が些細である)、またはラベル付きとラベルなしの例の分布シフトが疑われる場合(擬似ラベルのエラーがイテレーションを通じて増幅されるため)、使用を避ける。

限界と注意点

  • 擬似ラベルのエラーはイテレーションを通じて蓄積される。初期のベースモデルが弱い場合、誤った擬似ラベルが性能を向上させるどころか低下させる可能性がある。
  • ハイパーパラメータ空間が広い:イテレーション数、信頼度閾値、フォールド数、ベース学習器の多様性はすべて相互作用する。
  • 計算コストが高い:複数のベース学習器にわたるk分割再訓練は、数回のイテレーションで繰り返されるため、実行時間は急速に増加する。
  • ラベルなし分布がラベル付き分布に密接に一致することが要求される。共変量シフトは擬似ラベル付けの仮定を無効にする。
  • 解釈性が低い――二つのスタックされた層と反復的な擬似ラベル付けにより、個々の予測がどのように形成されたかを追跡することは困難である。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 追加の注釈コストなしに大量のラベルなしデータを活用し、教師ありのみのスタッキングよりも精度が大幅に向上することが多い。
  • 古典的スタッキングの全ての利点を継承する:ベース学習器間の多様性は、バリアンスとバイアスを同時に低減する。
  • 柔軟性:任意の教師あり学習器をベースモデルまたはメタ学習器として使用できるため、フレームワークは広く適用可能である。
  • 信頼度閾値処理は、各イテレーションで導入される擬似ラベルの品質を制御するための原理的なメカニズムを提供する。
  • スケーラビリティが良い――ラベルなしデータは安価であるため、ラベル付き例に対するラベルなし例の比率が増加するにつれて、この手法の価値は高まる。

応用

  • 注釈付きスキャンは少ないが注釈なしスキャンは豊富にある場合の医療画像分類。
  • 大規模なラベルなしコーパスと小規模なラベル付き訓練セットを用いた自然言語処理タスク(感情分析、トピックモデリング)。
  • 少数のグラウンドトゥルースラベルを持つ豊富な衛星画像を使用したリモートセンシングにおける土地被覆分類。
  • 確認された不正事例が未レビュー取引と比較してまれである不正検出。
  • 実験的に検証された例が限られているタンパク質機能予測などのバイオインフォマティクスタスク。

使い方

使い方

1

ベース学習器(例:勾配ブースティング木、SVM、ニューラルネット)はラベル付きサブセットで訓練される。次に、それらは全てのラベルなし例に対してクラス確率を予測する。最大予測確率が信頼度閾値を超える例には擬似ラベルが割り当てられ、次のイテレーションのための作業訓練セットに追加される。

2

多様なベース学習器は、データリーケージを回避するためにk分割交差検証を用いて(再)訓練される。ベースモデル間の多様性――アルゴリズムファミリー、正則化強度、または特徴量サブセットにおける――は極めて重要である。均質なスタックは二層目からほとんど利益を得られない。

3

ラベル付き例に対する各ベース学習器のアウトオブフォールド予測は、メタ特徴量行列に収集される。各行はラベル付き訓練例に対応し、各列は、その例を見なかったフォールドで推定された一つのベースモデルの予測であり、メタ学習器のための偏りのない表現を保持する。

4

メタ学習器(一般的にはロジスティック回帰、浅いニューラルネット、または別のツリーモデル)は、真のラベルを用いてメタ特徴量行列で訓練される。それは、ベース学習器の出力をどのように最適に組み合わせるかを学習し、それらの系統的なバイアスを補正し、相補的な強みを活用する。

5

ステップ1~4は、固定回数のイテレーション、または擬似ラベルセットが安定するまで(少数の新しい例しか信頼度閾値を超えない)、繰り返される。各パスで、より多くのラベルなしデータを取り込むために信頼度閾値がわずかに緩和されることがあるが、注意が必要である。閾値が低すぎると、誤った擬似ラベルが伝播し、性能が低下する。

よくある落とし穴

  • 初期イテレーションで信頼度閾値を低く設定し、ノイズの多い擬似ラベルを訓練セットに氾濫させてベース学習器の品質を低下させること。
  • 相関の高いベース学習器を一つか二つしか使用しないこと。多様性がないと、メタ学習器は冗長な信号を受け取り、スタックは単一モデルよりも優れなくなる。
  • メタ特徴量を生成する際に交差検証を使用しないこと。これによりデータリーケージが発生し、訓練精度が誇張され、メタ学習器の訓練が誤解される。
  • 擬似ラベルが付与された例ではなく、保持された真のラベル付きテストセットで最終性能を評価すること。これにより過度に楽観的な指標が得られる。
  • 収束を無視すること――擬似ラベルセットが安定した後、過剰なイテレーションを実行すると計算が無駄になり、確信度の高い誤った予測に過剰適合するリスクがある。

よくある質問

擬似ラベル付けの信頼度閾値はどのように選択すればよいですか?

分類の場合、一般的な開始点は0.9以上であり、これは最上位クラスの確率が90%を超える例のみが擬似ラベルを受け取ることを意味する。ベースモデルが改善するにつれて、後続のイテレーションで閾値は緩和される可能性がある。常にイテレーション全体での検証精度を監視して、ノイズを過剰に導入する閾値値を検出する。

どのベース学習器を使用すべきですか?

多様性が重要な原則である。典型的な組み合わせは、勾配ブースティング木(例:XGBoost)、放射状カーネルを持つSVM、およびニューラルネットワークをペアにする。バイアス・バリアンスプロファイルや、それが捉える特徴量の関係性が異なるモデルを組み合わせることで、二層目にとって最も情報量の多いメタ特徴量が得られる。

標準スタッキングとどう違うのですか?

標準スタッキングは、全体を通してラベル付きデータのみを使用する。半教師ありスタッキングは、擬似ラベル付けループを追加して、高信頼度のラベルなし例で効果的な訓練セットを反復的に拡張するため、ラベル付きデータが少なくラベルなしデータが豊富な場合に最も有用である。

分類だけでなく回帰にも対応できますか?

はい。回帰の場合、信頼度閾値処理は残差ベースの基準に置き換えられる――例えば、ベースモデル間で予測値が安定している(分散が低い)擬似ラベル付き例を含める。次にメタ学習器は、クラス確率ではなく連続値出力を組み合わせる。

ラベル伝播エラーのリスクは何ですか?

初期のベースモデルが不正確な場合、それらの確信度の高い予測は依然として誤っている可能性があり、それらのエラーは後続のイテレーションで強化される。高い初期信頼度閾値の使用、イテレーション全体での保持されたラベル付き検証セットの監視、および検証性能が改善しなくなったときに停止することが、主な防御策である。

関連する手法

参考文献

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    DOI 文献を開く
    コピーしました。
  2. Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN:978-0-262-03358-9
    コピーしました。