Skip to content
検索結果に戻る

半教師あり勾配ブースティング

提唱者
Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
年
2006–2010s
種類
Semi-supervised ensemble (self-training + gradient boosted trees)
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

半教師あり勾配ブースティングは、勾配ブースト木と自己学習または疑似ラベリングを組み合わせて、少数のラベル付きデータセットと大量のラベルなしデータを活用します。ラベル付きデータに最初に適合させたGBMは、ラベルなしの例に対して確信度の高い予測を割り当てます。これらの疑似ラベル付きデータ点はトレーニングに再度取り込まれ、モデルは収束するまで再ブーストされます。これにより、ラベルが不足しているか高価な場合に、安価なラベルなしデータを活用できます。

手法の背後にある直感

ラベル付き調査回答が200件、ラベルなしが10,000件あると想像してください。200件のラベル付きデータのみでトレーニングされた勾配ブースティングモデルは、すでにかなり良好です。半教師あり勾配ブースティングは、そのモデルを使用して、確信度の高いラベルなし回答を分類し、一時的にラベルを付け、その後、はるかに大きな結合セットで再トレーニングします。このサイクルは繰り返されます。各ラウンドで、モデルはより多くの例を見るため改善され、より良い予測は次のラウンドのより高品質な疑似ラベルにつながります。ラベルなしの大多数は、実質的に無料の正則化およびデータ拡張デバイスとして機能します。

歴史学

半教師あり学習は、Chapelle、Scholkopf、Zienによる2006年のMIT Pressのボリュームで体系化されました。自己学習/疑似ラベリングのバリアントは、NLPのYarowsky(1995)に遡り、後にLee(2013)によってディープネットワークの文脈で形式化されましたが、同じ原則が勾配ブースト木に直接適用されます。CatBoost(Prokhorenkovaら、2018)は組み込みの半教師あり拡張機能を導入しました。その後の研究では、2010年代および2020年代を通じて、生物医学および産業設定におけるGBMに特化した疑似ラベリングスケジュールと確信度キャリブレーションが探求されました。

使うべき場面

ラベル付きデータが少ない(例:数百件未満)が、同じ分布から大量のラベルなしデータが利用可能であり、追加のラベル収集が高価な場合に、半教師あり勾配ブースティングを使用します。ラベル付きセット単独で勾配ブーストモデルがすでにまともなパフォーマンスを発揮する表形式の分類および回帰タスクに適しています。ラベル付きデータとラベルなしデータが異なる分布から取得されている場合(分布シフトはエラーを増幅します)、ベースモデルのラベル付きデータでの精度が非常に低い場合(不適切な疑似ラベルは再トレーニングを損ないます)、または標準的なGBMを飽和させるのに十分なラベル付きセットがすでに大きい場合(この場合、半教師ありのオーバーヘッドはごくわずかな利益しか得られません)は避けてください。

限界と注意点

  • 疑似ラベルの品質はベースモデルに依存します。弱い初期モデルは後続の反復を損なう可能性があります。
  • ラベル付きデータとラベルなしデータが同じ分布から抽出されたと仮定します。これを違反するとエラーが増幅します。
  • しきい値の調整(tau)は、原則的なデフォルト値のないハイパーパラメータを追加します。
  • 計算コストは、特に大規模なラベルなしプールの場合、自己学習の各反復で増加します。
  • 検証はラベル付きデータのみで実行する必要があります。拡張セット全体での標準的なクロスバリデーションは推定値を膨張させます。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • ラベルが高価または不足している場合に、安価なラベルなしデータを活用してパフォーマンスを向上させます。
  • アーキテクチャの変更なしに、任意の勾配ブースティング実装(XGBoost、LightGBM、CatBoost、scikit-learn)と互換性があります。
  • 確信度しきい値処理は、疑似ラベルノイズを制限する組み込みの品質ゲートを提供します。
  • 勾配ブースト木の完全な予測能力と特徴間相互作用モデリングを維持します。
  • 反復的な改善により、モデルの改善に伴ってラベルなしデータを段階的に組み込むことができます。

応用

  • ラベル付き患者記録は限られているが、ラベルなし臨床ノートが豊富にある場合の医療診断。
  • 少数のラベル付き障害例と大量のラベルなし生産ストリームを使用した産業欠陥検出。
  • ラベル付きシード例とラベルなしコーパスによって拡張されたテキスト分類および感情分析。
  • 検証されたデフォルト結果を持つ履歴アプリケーションの割合がわずかである場合の信用スコアリング。
  • 少数のラベル付きフィールド測定値と大量のラベルなし衛星画像特徴を組み合わせたリモートセンシングおよび地理空間分類。

使い方

使い方

1

標準的な勾配ブースティングモデル(XGBoost、LightGBM、CatBoost、scikit-learn GBMなど)は、標準的な教師あり損失最小化を使用して、利用可能なラベル付き例でトレーニングされます。このベースモデルは、疑似ラベリングが役立つためには、少なくとも適度に正確である必要があります。

2

ベースモデルを各ラベルなし例に適用します。確信度しきい値tau(例:分類では予測確率が0.9を超える、または回帰ではタイトな区間内の予測)を超える予測は、疑似ラベルとして受け入れられます。高確信度フィルタリングは、初期ラウンドでのエラー伝播を制限します。

数式
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tau
3

受け入れられた疑似ラベル付き例は、ラベル付きトレーニングセットに追加されます。オプションで、その不確かな起源を反映するために1.0未満の重みが付けられます。結合されたデータセットは、現在実質的に大きくなり、特徴空間をよりよくカバーする可能性があります。

4

新しい勾配ブースティングモデルは、拡張されたデータセットで(またはウォームスタートで)ゼロからトレーニングされます。勾配ブースティングは本質的に逐次的であり、ラベルノイズに敏感であるため、ノイズの多い疑似ラベルによって引き起こされる劣化を検出するために、保持されたラベル付きセットでの検証損失を監視することが不可欠です。

5

ステップ2から4は、固定ラウンド数または検証メトリックのわずかな変化、あるいは確信度しきい値を超える新しいラベルなし例がないという収束まで繰り返されます。各ラウンドで、より多くの疑似ラベル付きデータを含めるために、確信度しきい値が徐々に緩和される場合があります。

よくある落とし穴

  • 疑似ラベル付きデータを検証フォールドで使用すると、楽観的に偏ったパフォーマンス推定値が得られます。
  • 初期ラウンドで確信度しきい値を低く設定しすぎると、ノイズの多いラベルが再トレーニングに氾濫し、負の転移を引き起こします。
  • ラベル付きデータとラベルなしデータの間の分布シフトを無視すると、教師ありベースラインを下回るパフォーマンス低下を引き起こす可能性があります。
  • 疑似ラベル付き例に1.0未満の重みを付けない場合、不確かな予測に人間が検証したラベルと同じ地位を与えます。
  • 収束するまでではなく、疑似ラベリングを1ラウンドで停止すること。

よくある質問

確信度しきい値はどうやって選びますか?

保守的に開始してください。二項分類では、ラウンド1では0.9を超える値が一般的です。各ラウンド後にラベル付きセットの検証精度を監視し、パフォーマンスが維持または改善された場合にのみ、徐々にしきい値を緩和してください。単一の原則的な値はありません。それを調整可能なハイパーパラメータとして扱ってください。

疑似ラベル付き例はラベル付き例と同等に重み付けされるべきですか?

一般的にはいいえ。疑似ラベル付き例に1.0未満の重み(例:0.5)を割り当てることは、不確かな予測が損失関数に与える影響を減らします。一部の実装では、重みをモデルの予測確信度に結び付け、高確信度の疑似ラベルにより高い重みを与えます。

いつ半教師あり勾配ブースティングはパフォーマンスを損ないますか?

初期モデルが信頼性の高い疑似ラベルを生成するには弱すぎる場合、ラベル付きデータとラベルなしデータが分布が異なる場合、またはラベルなしセットがラベル付きセットに対して小さい場合に損なわれます。これらのシナリオでは、ラベル付きデータのみでの標準的な教師ありGBMの方が通常安全です。

これはCatBoostの組み込み半教師ありモードとは異なりますか?

CatBoostは、単一のトレーニング実行内で、ラベル付きデータ上の教師あり損失とラベルなしデータ上の教師なしまたは疑似ラベル損失を共同で最適化することにより、半教師ありトレーニングをネイティブに実装しており、これは反復的な外部疑似ラベリングよりも安定する可能性があります。手動の自己トレーニングループはより一般的であり、任意のGBMライブラリで使用できます。

疑似ラベリングの反復はいくつ必要ですか?

通常、3〜10ラウンドで十分です。ラベル付きセットの検証メトリックが改善しなくなるか、新しく受け入れられた疑似ラベルの数がゼロ近くに低下すると、収束が検出されます。ラウンドが増えると、疑似ラベルのエラーが累積するリスクがあります。

関連する手法

参考文献

  1. Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)

    出版物の文献を開く
    コピーしました。
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN:978-0-262-03358-9
    コピーしました。