能動学習決定木
- 提唱者
- Settles, B. (active learning framework); Breiman et al. (decision tree base)
- 年
- 1984–2010
- 種類
- Active learning with decision tree base learner
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
決定木を用いた能動学習は、CART形式の木の解釈可能な構造と、人間によるアノテーションのために最も情報量の多い未ラベルインスタンスを選択するクエリ戦略を組み合わせたものです。このモデルは、最も不確実な例に対してのみ繰り返しラベルを要求し、表形式データにおける分類精度を最大化しながら、ラベリングコストを最小限に抑えます。
手法の背後にある直感
すべての訓練例にラベルを付けるのは費用がかかります。能動学習は、「どの未ラベル例にラベルを付ければ、最も多くのことを学べるか?」とモデルに問いかけさせることで、この問題を解決します。決定木は、各クエリステップで不確実性を推定する分類器として使用されます。新しいラベルが追加されるたびに、木は再訓練され、クエリサイクルが繰り返されます。その結果、ゼロから訓練された完全教師あり木よりもはるかに少ないラベル付き例で同等の精度を達成するモデルが得られ、アノテーションが高価または時間のかかる設定で実用的になります。
歴史学
分類器としての決定木は、Breiman et al.のCART (1984) とQuinlanのC4.5 (1993) に遡ります。体系的なフレームワークとしての能動学習は、Burr Settles (2010) によって包括的に調査され、不確実性サンプリング、委員会によるクエリ、および期待モデル変更戦略が文書化されました。決定木は、Cohn, Atlas, and Ladnerの初期のプールベースサンプリング研究 (1994) やその後の学習器タイプ間の経験的比較に登場して以来、1990年代後半から能動学習ベンチマークにおける標準的なベース学習器となっています。
使うべき場面
ラベル付き訓練データが不足しているか、取得に費用がかかるが、大量の未ラベルインスタンスが利用可能な場合に、決定木を用いた能動学習を使用します。例えば、医療アノテーション、文書分類、またはセンサー故障検出タスクなどです。最終モデルの解釈可能性とラベリング効率が同時に求められる場合、決定木ベースは特に適しています。データセット全体を安価にラベル付けできる場合(受動学習で十分)、ラベル付きプールがすでに大きい場合(数百または数千)、特徴空間が非常に高次元である場合(勾配ブースティングやニューラル能動学習器が優れている)、または非常に大規模なデータセットで反復ごとの再訓練コストが法外である場合は、このアプローチを避けてください。
限界と注意点
- 未ラベルプールが非常に大きい場合、クエリ戦略と木の再訓練は合わせて計算コストが高くなる可能性があります。
- 決定木は分散の大きい学習器です。初期のラベルが少ない場合、初期の木は信頼性が低く、質の悪い初期クエリにつながる可能性があります。
- 同じラベル予算では、ランダムフォレストや勾配ブースティングなどのアンサンブル手法よりも性能の上限が低いです。
- オラクルラベルが正確であることを前提としています。ノイズの多い、または一貫性のないラベルは、受動学習よりも能動学習のループを早く劣化させる可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- ランダムサンプリングと比較して、目標精度に到達するために必要なラベル数を劇的に削減します。
- 決定木ベースモデルは人間が解釈可能であり、規制されたドメインや説明が求められるドメインに適しています。
- 特徴量のスケーリングを必要とせず、混合特徴量タイプを持つ中規模の表形式データセットでうまく機能します。
- 不確実性に基づくクエリ戦略は、実装が簡単で、関係者に説明しやすいです。
- 各反復後のOOB(Out-of-Bag)または検証セットの精度は、透明な学習曲線を提供します。
応用
- 専門家によるラベリング時間が限られている医療画像または記録のアノテーション。
- ラベル付き文書が少なく、大量の未ラベルコーパスがあるテキスト分類。
- アノテーションコストが高いセンサーおよび産業用故障検出。
- 現地検証が高価な生態学的またはリモートセンシングデータセット。
- 手動でレビューできるトランザクションの割合がごくわずかな不正検出パイプライン。
使い方
使い方
プロセスを開始するために、少数の初期ラベル付きインスタンスのセットと、より大きな未ラベルインスタンスのプールが収集されます。ラベル付きセットは通常、能動学習ループが始まる前に、期待される各クラスの少なくとも1つの例が存在するように、ランダムに、または層化抽出によって選択されます。
現在のラベル付きセットで決定木分類器(通常はCARTまたはC4.5)が訓練されます。木は、各ノードで不純度(ジニ不純度またはエントロピー)を最小化する分割ルールを学習し、任意の未ラベルインスタンスに対してクラス確率推定値も出力できる分類器を生成します。
情報量基準 — 最も一般的には予測エントロピーHに基づく不確実性サンプリング、または上位2つのクラス確率間のマージン — が、すべての未ラベルインスタンスをスコアリングします。最も不確実性スコアが高いインスタンスがクエリとして選択されます: x* = argmax H(y-hat | x)。
数式
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)選択されたインスタンスは、アノテーションのためにオラクル(人間のアノテーターまたは自動ラベリングメカニズム)に提示されます。その真のラベルはラベル付き訓練セットに追加され、未ラベルプールは1つ減少します。このステップは実際のアプリケーションにおける重要なボトルネックであり、アノテーターの信頼性について監査されるべきです。
決定木は、拡張されたラベル付きセットでゼロから再訓練され、クエリ-スコア-ラベルのサイクルが繰り返されます。停止基準には、ラベリング予算の達成、ホールドアウト検証セットでの最小精度閾値、または最大反復回数があります。最終評価には、完全に独立したテストセットを使用する必要があります。
よくある落とし穴
- テストセットをクエリ戦略のガイドとして使用すること。これは情報漏洩を引き起こし、評価指標を水増しします。
- 固定された乱数シードを設定しないこと。これにより、ラベリング順序と結果が実行間で再現不可能になります。
- 初期シードセットにおけるクラスの不均衡を無視すること。これにより、木が主に多数派クラスからクエリを行うことになります。
- 独立した検証セットではなく、訓練精度に基づいてループを早すぎる段階で停止すること。
- 使用されたラベル数を報告せずに、最終的な能動学習の精度を完全教師ありベースラインと同等として扱うこと。
よくある質問
なぜ、より強力なモデルではなく、決定木をベース学習器として使用するのですか?
決定木は各反復で再訓練が速く、不確実性スコアリングに必要な確率推定値を生成します。その解釈可能性も、最終モデルの説明が求められるドメインでは重要です。最高の精度を求める場合、解釈可能性を犠牲にして、ランダムフォレストや勾配ブースティングの能動学習器が好まれるかもしれません。
開始するには、いくつの初期ラベル付き例が必要ですか?
一般的な経験則として、木が意味のある分割を行えるように、クラスごとに少なくとも1つか2つの例が必要です。実際には、5〜20個のラベル付きインスタンスから始めるのが一般的です。それよりも少ないと、初期の木が情報量の多い不確実性スコアを生成するには退化しすぎるリスクがあります。
クエリの順序は重要ですか?
はい。クエリシーケンスはパス依存的です。初期のクエリは木が何を学習するかを形成し、それによってどの後続の例が最も不確実に見えるかを決定します。異なる乱数シードや初期ラベル付きセットは、実質的に異なる学習曲線につながる可能性があるため、戦略を比較する際にはシード間で実験を再現してください。
いつクエリを停止すべきですか?
事前にラベリング予算を定義するか、検証精度を監視し、新しいラベルごとの改善が閾値を下回ったときに停止します。テストセットを停止基準として使用しないでください。これはデータ漏洩を構成します。
このアプローチを多クラス問題で使用できますか?
はい。エントロピーに基づく不確実性サンプリングは、多クラスに自然に一般化されます。不均衡が著しい多クラス設定では、コストセンシティブまたはクラス重み付け決定木を検討し、初期シードセットがすべてのクラスをカバーしていることを確認してください。
関連する手法
参考文献
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
出版物の文献を開くコピーしました。Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.
ISBN:978-0-412-04841-8コピーしました。