半教師あり決定木
- 提唱者
- Various (Levin & Shapiro; Zhu & Goldberg lineage)
- 年
- 2000s
- 種類
- Semi-supervised classifier / regressor
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
半教師あり決定木は、CARTやC4.5などの標準的な決定木誘導を拡張し、ラベル付き訓練セットと並行してラベルなし観測を利用する。ラベルなしデータに暫定的なラベルを繰り返し割り当て、それを成長中または分割プロセスに組み込むことで、アルゴリズムはラベル付きサブセットのみで訓練された完全に教師ありの木よりも高い精度を達成できる。これは、ラベル付けが高価または時間のかかる場合に特に価値がある。
手法の背後にある直感
すべての観測にラベルを付けるのはコストがかかるが、ラベルなしデータは特徴空間に関する有用な構造情報を含んでいる。半教師あり決定木は、まず少数のラベル付き例から木を構築し、その木を使用してラベルなしデータを暫定的にラベル付けし、その後拡張されたセットで再訓練することにより、これを活用する。繰り返しの反復により、暫定ラベルと木の構造の両方が同時に洗練されるため、真のラベルが少ない場合でも、モデルはデータ全体の分布から学習する。
歴史学
半教師あり学習は、1990年代後半に、ウェブ分類や計算生物学などの分野で利用可能なラベルなしデータの豊富さを活用しようとする研究者によって登場した。決定木の自己訓練バリアント、つまり木が繰り返しラベルなしデータを自身でラベル付けするものは、最も初期の実装の1つであった。正式な扱いは、Zhu & Goldberg (2009) のサーベイ論文に登場し、ツリーベースの自己訓練をより広範な半教師あり学習の分類法の中に位置づけている。それ以来、アプローチはアンサンブル設定に拡張され、半教師ありランダムフォレストや勾配ブーステッドツリーが生成されている。
使うべき場面
半教師あり決定木は、ラベル付きデータが少なく入手が困難であるが、大量のラベルなし観測が利用可能な場合に適切である。これは、医療画像注釈、テキスト分類、センサーベースの監視で一般的である。特に、ラベルなしプールによって全体の特徴分布がよく捉えられており、人間が解釈可能なモデル(木)が必要とされる場合に有用である。初期の木が非常に信頼できないほどラベル付きサンプルが小さい場合、ラベルなしデータがテスト分布を表していない場合、または疑似ラベリングプロセスが体系的なエラー(確認バイアス)を伝播することが予想される場合は、この方法を避ける。そのような場合、クリーンなラベル付きデータでの純粋に教師ありの方法、またはラベル伝播や共同訓練などの代替の半教師ありアプローチの方が安全かもしれない。
限界と注意点
- 信頼性の低い初期ツリーからの疑似ラベルエラーは、反復を通じて増幅され、完全に教師ありのベースラインと比較してパフォーマンスが低下する可能性がある。
- この方法は、ラベルなしデータがラベル付きデータと同じ基底分布を共有すると仮定している。分布シフトはこの仮定を破る。
- 計算コストは、ツリーがますます大きな実効データセットで再訓練されるため、反復ごとに増加する。
- 疑似ラベルを含めるための信頼度しきい値の選択には、慎重な調整とクロスバリデーションが必要である。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- ラベル付き例が少ない場合に、ラベルなしデータを利用して精度を向上させ、注釈コストを削減する。
- 決定木の解釈性を維持する:結果のモデルは、人間が読める一連のif-thenルールである。
- 前処理正規化なしで、混合特徴タイプ(連続、カテゴリ、バイナリ)を自然に処理する。
- 既存の任意のツリー学習器の上に、反復的な自己訓練を簡単に実装できる。
- 線形半教師ありモデルが見逃す非線形境界と特徴相互作用を捉えることができる。
応用
- 専門家による注釈が高価で、大規模な注釈なしアーカイブが存在する医療画像および記録分類。
- 少数のラベル付きコーパスと大量のラベルなしコレクションを使用したテキストおよびドキュメントのカテゴリ分類。
- 時系列セグメントのわずかな部分のみが手動でラベル付けされているセンサーおよびIoTデータ分析。
- 実験的に検証されたラベルが少ない場合の遺伝子機能予測などのバイオインフォマティクスタスク。
- ラベル付き詐欺ケースがラベルなしトランザクションの量と比較してまれな場合の不正検出。
使い方
使い方
標準的な決定木(例:CARTまたはC4.5)は、データセットのラベル付き部分のみを使用して適合される。この初期モデルは、決定境界への最初の近似を提供し、後続の半教師あり反復のシードとして機能する。
各ラベルなし観測は現在の木を通過し、予測クラス(分類の場合)または予測値(回帰の場合)が暫定ラベルとして割り当てられる。葉ノードからの信頼度または確率推定値を使用して、最も信頼性の高い疑似ラベルのみを選択し、低信頼度の割り当てを除外できる。
元のラベル付き例と新しく疑似ラベル付けされたラベルなし観測の両方を使用して、木が最初から再訓練される。高信頼度の疑似ラベルは、真のラベルと並んで分割決定に寄与し、実質的に有効な訓練セットを拡大する。
ラベル付きおよびラベルなし観測の両方で計算されたエントロピーまたはジニ、あるいは教師あり純度と教師なしクラスタコヒーレンスをバランスさせる二重基準目的などの変更された分割基準は、ラベルなし点によって明らかにされた基底データ分布を尊重するようにノード分割をガイドする。
暫定ラベルが連続ラウンドで安定するか、最大反復回数に達するまで反復が継続される。その後、標準的な後枝刈り戦略(コスト複雑性枝刈り、最小葉サイズ)が最終的な木に適用され、疑似ラベル付きデータでの過学習を制御する。
よくある落とし穴
- 信頼度に関係なくすべての疑似ラベルを使用すること。これにより、低品質の割り当てが後続の反復を支配する可能性がある。
- 訓練前に、ラベルなしデータがラベル付きセットと同じ分布から抽出されていることを確認しないこと。
- 最終的なツリーの葉の統計情報を、パフォーマンスメトリックを報告する際に純粋に教師ありとして扱うこと。アウトオブバッグまたは保持されたラベル付き評価が必要である。
- 疑似ラベル拡張後に枝刈りをスキップし、ノイズの多い暫定ラベルへの深刻な過学習を引き起こすこと。
- 追加のラベルなしデータを使用したことを考慮せずに、同じラベル付きサブセットで訓練された完全に教師ありのツリーと直接比較すること。
よくある質問
半教師あり決定木は、通常の自己訓練分類器とどのように異なりますか?
中核となる原則、つまりラベルなしデータでの予測を使用して訓練を拡張するという点は同じです。ツリー固有のアプローチを区別するのは、単にラベル付きセットを繰り返し拡張するのではなく、ラベルなし分布情報を組み込むように分割基準自体を変更するオプションです。
開始するために必要なラベル付き例はいくつですか?
普遍的な最小値はありませんが、初期の教師ありツリーは有用な疑似ラベルを生成するのに十分な信頼性が必要です。実際には、クラスあたり少なくとも20〜50のラベル付き例が推奨されることが多いです。それより少ない場合、エラー伝播のリスクが高く、ラベル伝播などの代替アプローチの方がうまく機能する可能性があります。
すべてのラベルなしデータを使用すべきですか、それともサブセットを選択すべきですか?
高信頼度の疑似ラベルのみを選択すること(例えば、葉の確率が0.85などのしきい値を超えるもの)は、特に初期のツリーが不完全な場合、すべてのラベルなし点を使用するよりも一般的に優れたパフォーマンスを発揮します。
これは標準的なクロスバリデーションに取って代わりますか?
いいえ。疑似ラベルはモデル自体から派生するため、インサンプルメトリックは楽観的です。評価は、保持されたラベル付きテストセットまたはラベル付きパーティションに厳密に適用されたkフォールドクロスバリデーションを使用する必要があります。
アンサンブルメソッドと組み合わせることはできますか?
はい。半教師ありランダムフォレストおよび共同フォレストアプローチは、このアイデアをアンサンブルに拡張し、疑似ラベルエラーの分散を減らし、通常は単一の半教師ありツリーよりも優れたパフォーマンスを発揮します。
関連する手法
参考文献
Levin, E. & Shapiro, E. (2000). Learning Decision Trees from Semi-labeled Examples. Proceedings of the ICML Workshop on Attribute-Value and Relational Learning.
出版物の文献を開くコピーしました。Zhu, X. & Goldberg, A. B. (2009). Introduction to Semi-Supervised Learning. Morgan & Claypool Publishers.
ISBN:978-1-598-29548-9コピーしました。