半教師ありランダムフォレスト
- 提唱者
- Leistner, C., Saffari, A., Santner, J., & Bischof, H.
- 年
- 2009
- 種類
- Semi-supervised ensemble classifier
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
半教師ありランダムフォレスト(SSL-RF)は、教師あり学習のランダムフォレストを拡張し、ラベル付きおよびラベルなしの両方の訓練事例を活用します。データにラベルを付ける作業が高価または時間のかかる場合、SSL-RFはフォレスト自体を通じてラベルなしの観測値に暫定的な擬似ラベルを割り当て、その後、その拡張されたデータセットで再訓練を行い、追加の人手によるアノテーションを必要とせずに精度を段階的に向上させます。
手法の背後にある直感
専門家パネル(ツリー)にケースの分類を依頼する状況を想像してください。ただし、ほとんどのケースファイルには確定診断がありません。SSL-RFでは、パネルが不確かなファイルについて投票し、確信度の高い投票を暫定的な診断として扱い、それらのファイルを訓練プールに追加して再訓練します。このプロセスはパネルが収束するまで繰り返されます。ラベル付き事例はフォレストを導き、ラベルなしの大部分は、ラベル付きデータだけでは到達できない領域で決定境界を形成し、ラベルが少ない場合の汎化性能を向上させます。
歴史学
半教師あり学習は、Xiaojin Zhu (2005) によって体系的に調査され、ラベルなしデータを活用するための理論的動機が確立されました。典型的なSSL-RFの定式化は、Leistner et al.がICCV 2009で発表し、エントロピーベースの分割と多様体正則化をランダムフォレストフレームワーク内で組み合わせました。この手法は、アノテーションコストが高いコンピュータビジョンや医療画像処理の分野で注目を集め、その後、深層特徴統合やグラフベースのラベル伝播のバリアントが拡張されています。
使うべき場面
半教師ありランダムフォレストは、ラベルなしデータが豊富にあるが、ラベリングが高価、希少、または時間のかかる場合(医療画像処理、リモートセンシング、テキスト分類、生物学的データなどで一般的)に利用します。これは、表形式データ、画像由来の特徴データ、および混合型データセットで、少なくとも控えめなラベル付きサブセット(全データの約5〜20%)がある場合に適しています。信頼できるラベルが実質的に存在しない場合(初期のフォレストが有用な擬似ラベルを生成するには弱すぎるため)、クラス境界が非常に非平滑な場合、または完全に教師ありのモデルがラベル付きデータセット単独で既に満足のいく性能を達成している場合は避けてください。
限界と注意点
- 擬似ラベルの品質は初期の教師ありフォレストに依存します。弱い初期モデルは、その後のすべての反復を通じてエラーを伝播させます。
- 信頼度閾値の選択は自明ではなく、最終的な性能に大きく影響する可能性があります。
- 計算コストは、ラベルなしサンプルの数と反復回数に比例して増加します。特に大規模なフォレストの場合に顕著です。
- ラベルなしデータの分布がラベル付きデータと異なる場合(共変量シフト)、擬似ラベルが系統的に偏る可能性があります。
- 収束は保証されません。反復的な自己訓練は、慎重な停止基準がない場合、初期の誤分類を増幅させる可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 安価なラベルなしデータを活用して、ラベル付きデータ単独で達成できる以上の精度を向上させます。
- ランダムフォレストのすべての利点(堅牢性、組み込みの特徴重要度、バギングによる過学習への耐性)を継承します。
- 柔軟な信頼度閾値により、ラベルなしデータをどの程度積極的に組み込むかを制御できます。
- 混合特徴タイプ、非線形関係、高次元入力を、分布仮定なしで自然に処理します。
- ラベル付き部分からのOOB(Out-of-Bag)推定は、ラベル付きセットが小さい場合でも検証シグナルを提供します。
- 最小限のアルゴリズム変更で、分類と回帰の両方のタスクに適用可能です。
応用
- 専門家によるアノテーションが高価な医療画像分類(組織病理学や放射線医学など)。
- 限られたグラウンドトゥルースラベルしかないリモートセンシングおよび衛星画像解析。
- ドキュメントの一部しか手動でラベル付けできない場合のテキストおよびドキュメント分類。
- ウェットラボでの検証がリソース集約型である生物学的およびゲノムデータ解析。
- 故障ラベルがまばらだが、ラベルなしのセンサー読み取り値が豊富な産業品質管理。
- ラベルなしのトランザクションと比較して、確認された不正ケースが稀な不正検出。
使い方
使い方
このプロセスは、少量のラベル付きデータセットと大量のラベルなしデータセットから始まります。ラベル付き観測値は初期の特徴空間とクラス分布を確立し、擬似ラベリングのステップが試みられる前に、少なくとも1つの信頼できるシグナルが存在することを保証します。
標準的なランダムフォレストは、ラベル付きデータのみで訓練されます。ブートストラップサンプリングとランダム特徴選択は、教師あり学習の場合とまったく同じように適用され、この段階で利用可能な真のラベルのみを反映する予測を行うアンサンブルが生成されます。
訓練されたフォレストは、すべてのラベルなし観測値に対してクラス確率を予測します。予測された確率が信頼度閾値(しばしば交差検定によって調整される)を超えるサンプルは、擬似ラベルを受け取ります。信頼度の低いサンプルは、エラー伝播を避けるためにラベルなしのままにするか、重みを下げることができます。
フォレストは、元のラベル付き事例と新しく擬似ラベル付けされた事例の結合されたプールで再訓練されます。オプションのサンプル重み付けにより、擬似ラベル付けされたインスタンスの重みを真のラベルと比較して減らすことができます。この段階で、多様体正則化やエントロピーベースの分割基準も適用されることがあります。
擬似ラベリングと再訓練のステップは、固定された回数繰り返されるか、連続するラウンド間で擬似ラベルの割り当てが安定するまで繰り返されます。早期停止は、特にノイズが多いまたは重複が多い設定において、エラーが複合的に増大することによる過信を防ぎます。
最終的な予測は、最後に訓練されたフォレスト内のすべてのツリーからの投票を集約することによって得られます。分類の場合は多数決、回帰の場合は平均応答です。フォレストからの信頼度スコアは、下流の意思決定のための較正された不確実性推定としても機能します。
数式
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}よくある落とし穴
- 信頼度閾値を低く設定しすぎて、ノイズの多い擬似ラベルで訓練セットを溢れさせてしまうこと。
- ラベル付きプールとラベルなしプールの間の共変量シフトを無視すること。これは精度を向上させるどころか低下させる可能性があります。
- 真にホールドアウトされたラベル付きテストセットなしで、OOB推定のみで評価すること。
- 早期停止なしで自己訓練の反復回数を増やしすぎ、ラウンド間でエラーが蓄積すること。
- 擬似ラベル付けされた観測値を、何らかのサンプル重み付けを適用せずに、真のラベルと等しく信頼できるものとして扱うこと。
よくある質問
開始するためにどれくらいのラベル付きデータが必要ですか?
厳密な最小値はありませんが、初期の教師ありフォレストは有用な擬似ラベルを生成できるほど強力である必要があります。実際には、総サンプルの少なくとも5〜10%がラベル付けされているか、数百のラベル付き観測値があれば、信頼できる初期予測が得られる傾向があります。非常に少ないラベルしかない場合は、代わりに共訓練やグラフベースの手法を検討してください。
擬似ラベリングの信頼度閾値はどのように選択すればよいですか?
閾値のグリッド(例:0.60から0.95)でラベル付きセットに対して交差検定を行い、ホールドアウト性能を最大化する値を選択します。閾値を高くするとノイズは減少しますが、使用されるラベルなしデータの量も減少します。0.80程度から保守的に始めるのが一般的な方法です。
SSL-RFはクラス不均衡を処理できますか?
はい、しかしラベル付きセットのクラス不均衡は擬似ラベルに伝播します。最初の訓練ステップの前に、クラス重み付け分割基準を使用するか、ラベル付きプール内の少数クラスをオーバーサンプリングしてください。全体的な精度ではなく、クラスごとの適合率と再現率を監視してください。
SSL-RFは、ランダムフォレストをベース学習器とする自己訓練と同じですか?
自己訓練はより広範なアルゴリズムスキーマであり、SSL-RFはその実現の一つです。SSL-RFの実装には、多様体正則化された分割基準やグラフベースの構造が組み込まれることもあり、素朴な反復的自己訓練を超えたものとなります。
SSL-RFよりも勾配ブースティングを優先すべきなのはいつですか?
すべてのデータにラベルが付いている場合、勾配ブースティングは通常、より高い精度をもたらすため、優先すべきです。SSL-RFは、ラベル付きの割合が少なく、活用できる大量のラベルなしデータがある場合に特に使用してください。
関連する手法
参考文献
Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.
DOI 文献を開くコピーしました。Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.
出版物の文献を開くコピーしました。