アクティブラーニングサポートベクターマシン
- 提唱者
- Tong, S. & Koller, D.
- 年
- 2001
- 種類
- Active learning + kernel classifier
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
アクティブラーニングSVMは、サポートベクターマシンの強力な決定境界と、人間によるアノテーションのために最も情報量の多いラベルなしインスタンスを選択するインテリジェントなクエリ戦略を組み合わせたものです。TongとKollerによって2001年に導入されたこの手法は、受動的な教師あり学習よりもはるかに少ないラベル付き例で高い分類精度を達成するため、ラベリングが高価または遅い場合に実用的です。
手法の背後にある直感
標準的なSVMは、信頼性の高い決定境界を描くために多くのラベル付き例を必要とします。アクティブラーニングSVMは、ラベリングワークフローを逆転させます。少数のラベル付きシードセットで予備的なSVMをトレーニングし、次にラベルなしのすべてのデータを調べて、「どのインスタンスにラベルを付けると境界が最も鮮明になるか?」と問いかけます。現在の超平面に最も近いインスタンス、つまりモデルが最も不確実なインスタンスを選択し、その点にのみラベルを付け、再トレーニングし、繰り返します。各ラベルは戦略的に選択されるため、驚くほど少ないアノテーション数で、網羅的なラベリングと同等の境界を生成できます。
歴史学
SVMのアクティブラーニングの最初の定式化は、Simon TongとDaphne KollerによってICML 2001で発表され、Journal of Machine Learning Research(2001)に掲載されました。彼らのSimple Marginアルゴリズムは、マージンベースのクエリ選択を標準的なアプローチとして確立しました。Burr Settlesの2010年の文献調査は、より広範なアクティブラーニング分野を体系化し、AL-SVMをその標準的なインスタンス化の1つとして確立しました。この手法は、アノテーション効率的な学習研究におけるベンチマークであり続けており、テキスト分類、生物医学画像解析、リモートセンシングで広く使用されています。
使うべき場面
ラベル付きデータが乏しい、または取得が困難な場合(医療画像、文書分類、科学的アノテーションタスクで一般的)で、大量のラベルなしデータが利用可能な場合にアクティブラーニングSVMを使用します。ラベリングコストが高い場合や決定境界が自明でない場合に、ランダムラベリングを上回ります。利用可能なすべてのデータへのラベリングがすでに可能である場合、特徴空間が明確なカーネル構造を持たずに非常に高次元である場合、またはラベルなしプールが選択的クエリの恩恵を受けるには小さすぎる場合は使用しないでください。また、オラクルの可用性が断続的である場合も避けてください。反復ループは、人間のアクセスを繰り返し必要とするためです。
限界と注意点
- 各反復でSVMを最初から再トレーニングすることは、大規模なラベル付きプールでは計算コストが高くなります。段階的なSVM更新はコストを軽減しますが、完全にはなくしません。
- マージンサンプリングは、ラベルなしプールに境界付近のノイズまたは重複が含まれている場合、冗長または外れ値のインスタンスを選択する可能性があります。
- パフォーマンスはカーネルとハイパーパラメータの選択に大きく依存しますが、少数のラベル付き例で信頼性高く調整するのは困難です。
- オラクルは常に利用可能で間違いがないと仮定されます。実際の annotatorからのノイズが多い、または一貫性のないラベルは収束を低下させます。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 受動的な教師あり学習よりも大幅に少ないラベル付き例で高い分類精度を達成します。
- SVM理論に厳密に基づいています。マージンベースのクエリ選択は、明確な幾何学的および確率的正当性を持っています。
- 柔軟なカーネル選択(線形、RBF、多項式)により、テキスト、画像、表形式の特徴空間に適応できます。
- プールベースの定式化は実用的です。ラベルなしセット全体が事前に利用可能であり、これは実際のアプリケーションで一般的です。
- 反復的な再トレーニングにより、パフォーマンス対アノテーション予算の自然な監視曲線が得られます。
応用
- 専門家によるアノテーションが高価なテキストおよび文書分類(例:法律、医療記録)。
- 放射線科医または病理医の時間的制約が厳しい生物医学画像ラベリング。
- 大規模なラベルなしアーカイブを持つリモートセンシングおよび衛星画像分類。
- ラベリングにセキュリティ専門家のレビューが必要なスパムおよび侵入検出。
- インスタンスあたりのラベリングコストが高いゲノミクスまたは材料科学における科学データアノテーション。
使い方
使い方
SVMは、少数の初期ラベル付き例のプールでトレーニングされ、早期の決定超平面が確立されます。このシードセットの品質は重要です。クラスバランスと代表的な多様性は、数個の例であっても両方とも重要です。
アルゴリズムは、現在のSVM超平面からの距離によって、ラベルなしの各インスタンスをスコアリングします。最小の絶対マージン値を持つインスタンス、つまり境界に最も近く、モデルが最も確信していないインスタンスが、次のクエリとして選択されます。この戦略は、マージンサンプリングまたは単純マージンとして知られています。
数式
x^* = \arg\min_{x \in U} |\mathbf{w} \cdot \phi(x) + b|選択されたインスタンスは、人間のアノテーター(オラクル)に提示され、真のクラスラベルが割り当てられます。プールベースのアクティブラーニングでは、これは反復ごとに1つのインスタンスです。バッチモードのバリアントは、オラクルの相互作用ラウンドを削減するために、多様なミニバッチを選択します。
新しくラベル付けされたインスタンスはラベル付きセットに追加され、SVMは拡大されたセットで最初から(または段階的に更新されて)再トレーニングされます。カーネルの選択(線形、RBF、多項式)と正則化パラメータCは、ラベル付きプールで固定またはクロスバリデーションされます。
ループは、定義済みの予算(アノテーション数、時間制限、または保持された検証セットでの目標精度)が使い果たされるか、クエリされたインスタンスのマージンがモデルの確実性を示すのに十分な信頼性の閾値を超えると終了します。
よくある落とし穴
- クラス不均衡なシードセットから開始すると、初期超平面が偏り、すべての後続のクエリが1つの領域に偏ります。
- 特徴のスケーリングを無視すること。SVMマージンは距離ベースであるため、スケーリングされていない特徴は、モデルが低分散次元を完全に無視する原因となります。
- ラベル付きプール精度を、個別の保持されたテストセットなしで信頼できるパフォーマンス推定値として扱うこと。
- 各ラウンドで大きすぎるバッチを選択すると、受動的ラベリングの非効率性が再導入され、選択的選択の利点が減少します。
- 本質的に非線形なデータに対して線形カーネルを使用し、その後、不適切な結果をモデルの誤指定ではなくアクティブラーニングのせいにすること。
よくある質問
アクティブラーニングSVMは標準的なSVMとどのように異なりますか?
標準的なSVMは、提供されたラベル付きデータを無受動的に使用します。アクティブラーニングSVMは、現在の決定境界に最も近いインスタンスを選択して、ラベルを要求するラベルなしインスタンスを能動的に選択します。分類モデルは同じSVMであり、データ収集戦略のみが変更されます。
どのクエリ戦略を使用すべきですか?
単純マージン(超平面に最も近い単一のラベルなしインスタンスを選択)は、標準的で最も研究されている戦略です。選択されたセット内の多様性を最大化するバッチモードバリアントは、実装がわずかに複雑になる代償を払って、オラクルの相互作用ラウンドが高価な場合に好まれます。
いつクエリを停止すべきですか?
一般的な停止基準には、固定アノテーション予算の枯渇、検証セットでの目標精度への到達、または連続してクエリされたインスタンスがすべて境界から遠く離れていること(モデルの確実性が安定したことを示す)の観察が含まれます。過度に楽観的であるトレーニングセットのパフォーマンスのみに依存することは避けてください。
アクティブラーニングSVMは多クラス問題を処理できますか?
はい、1対すべてまたは1対1の分解を介して可能です。多クラスクエリ選択のマージンは、通常、2つの最も高いクラススコア間の差として定義されます。このギャップが最小のインスタンスが選択されます。一部の実装では、専用の多クラスアクティブラーニング基準が使用されます。
ディープラーニングはアクティブラーニングSVMを時代遅れにしていますか?
完全ではありません。アクティブラーニングSVMは、ラベル付きデータが非常に少ない(数十から数百の例)、トレーニング計算量が限られている、またはマージンの解釈可能性が重視される場合に競争力を維持します。ディープアクティブラーニング手法は、GPUリソースが利用可能で、ラベルなしプールが非常に大きい場合にのみ好まれます。
関連する手法
参考文献
Tong, S., & Koller, D. (2001). Support Vector Machine Active Learning with Applications to Text Classification. Journal of Machine Learning Research, 2, 45–66.
出版物の文献を開くコピーしました。Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
出版物の文献を開くコピーしました。