アクティブラーニング
- 提唱者
- Burr Settles
- 年
- 2009
- 種類
- Interactive supervised learning framework
- 系統
- Interactive ML
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
アクティブラーニングは、学習アルゴリズムが最も情報量の多いラベルなしサンプルに対して選択的にオラクル(通常は人間の注釈者)にラベル付けを問い合わせる、反復的な機械学習パラダイムである。2009年の画期的な文献レビューでBurr Settlesによって形式化されたアクティブラーニングは、受動的教師あり学習が必要とするよりもはるかに少ないラベル付きサンプルで高いモデル精度を達成することにより、注釈コストの実用的なボトルネックに対処する。
手法の背後にある直感
教科書のすべてのページを暗記するのではなく、最も不可解な症例についてのみ担当医に尋ねる医学生を想像してほしい。学生は、すでに理解している例をレビューするのではなく、不確実性に焦点を当てることでより速く学習する。アクティブラーニングも同様に機能する。モデルは最も混乱している例を特定し、それらの特定のインスタンスの人間のラベルを要求し、自身を更新する。パフォーマンスが満足のいくものになるまで、このループを繰り返す。
歴史学
情報量の多いトレーニングインスタンスを選択的にクエリするという概念は、Fedorovの最適実験計画(1972)およびCohnらによるクエリ学習(1994)にまでさかのぼる。この分野は、Burr Settlesの2009年の技術レポートによって大幅に統合され、普及した。このレポートでは、クエリ戦略、理論的境界、およびNLP、バイオインフォマティクス、コンピュータビジョン全体でのアプリケーションがカタログ化された。ディープアクティブラーニングは、ニューラルネットワークが主要なモデルクラスになってから2016年以降に出現し、新しい不確実性推定技術が登場した。
使うべき場面
アクティブラーニングは、ラベルなしデータが豊富であるが専門家による注釈が高価、遅い、または希少である場合に最も有益である。これは、医療画像、法的文書分類、科学データキュレーション、自然言語処理で一般的である。オラクルの利用可能性と、クエリ戦略が情報量の多い例を意味のある方法で識別できることを前提としている。注釈コストが無視できる場合、ラベルなしプールが小さい場合、またはクエリ間でタスク分布が大幅にシフトする場合、あまり適していない。代替案には、半教師あり学習(ラベルを対話的に取得できない場合)や自己トレーニング(オラクルのクエリが実行不可能である場合)が含まれる。
限界と注意点
- クエリ戦略はサンプリングバイアスを導入する可能性があり、ラベル付きセットが真のデータ分布の代表にならない可能性がある。
- パフォーマンスの向上は、タスクおよびモデル固有のクエリ戦略の選択に大きく依存する。
- 各クエリ後にモデルを再トレーニングすることは、大規模なニューラルネットワークでは計算コストが高い。
- オラクルのノイズ(注釈者の不一致またはエラー)は、明示的にモデル化されていない場合、パフォーマンスを低下させる可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 最大限に情報量の多い例に注釈作業を集中させることにより、ラベリングコストを劇的に削減する。
- 基盤となるモデルアーキテクチャを変更することなく、任意の教師あり学習者(分類、回帰、構造化予測)に適用可能である。
- 理論的に根拠がある。不確実性サンプリングとクエリバイコミッティは、PAC学習とベイズ的根拠を持つ。
- クラウドソーシングワークフローおよび最新の注釈プラットフォームと互換性がある。
応用
- 専門家によるラベリングが高価で希少な医療画像注釈(放射線学、病理学)。
- NLPにおける固有表現認識および関係抽出。手動でラベル付けされたコーパスの要件を削減する。
- 創薬:合成およびアッセイする分子候補の選択。
- 限られた正解ラベルを持つリモートセンシングおよび衛星画像分類。
- 自動運転:まれなまたは安全クリティカルな運転シナリオの注釈を優先する。
使い方
使い方
プロセスは、ラベルなしの例の大きなプールUと、最初は空のラベル付きセットLから始まる。ベースモデルは、利用可能なラベル付きシードデータで事前トレーニングされるか、ランダムに初期化される可能性がある。ラベル付きデータとラベルなしデータのこの分離は、プールベースのアクティブラーニングの定義的な構造的仮定である。
数式
\mathcal{U} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\}, \quad \mathcal{L} = \emptyset各イテレーションで、学習者は情報量基準に従ってすべてのラベルなしインスタンスをスコアリングする。ここでは、不確実性サンプリングは、最大クラス事後確率が最も低いインスタンスを選択し、モデルの不確実性を最大化することを示す。代替基準には、クエリバイコミッティの不一致や期待されるモデル変更が含まれる。
数式
\mathbf{x}^* = \arg\max_{\mathbf{x} \in \mathcal{U}} \phi(\mathbf{x}; \theta), \quad \phi(\mathbf{x}) = 1 - \max_{y} P_\theta(y \mid \mathbf{x})選択されたインスタンスx*は、オラクル(人間の専門家、クラウドソーシングプラットフォーム、または自動化された注釈者)に提示され、ラベルy*が提供される。新しくラベル付けされたペアはUからLに移動され、クエリ予算カウンターがデクリメントされる。オラクルのコストは通常、クエリごとに均一として扱われる。
数式
y^* = \mathcal{O}(\mathbf{x}^*), \quad \mathcal{L} \leftarrow \mathcal{L} \cup \{(\mathbf{x}^*, y^*)\}, \quad \mathcal{U} \leftarrow \mathcal{U} \setminus \{\mathbf{x}^*\}モデルパラメータは、経験的損失を最小化することにより、現在のラベル付きセットLで再トレーニング(またはファインチューニング)される。更新されたモデルは、残りのプールを再スコアリングし、予算が枯渇するか、目標精度しきい値に達するまで、クエリ選択ラベル再トレーニングサイクルを繰り返す。
数式
\theta^* = \arg\min_\theta \frac{1}{|\mathcal{L}|} \sum_{(\mathbf{x},y) \in \mathcal{L}} \mathcal{L}_{\text{loss}}(f_\theta(\mathbf{x}), y)よくある落とし穴
- コールドスタート問題。初期ラベルが非常に少ない場合、不確実性推定は信頼性が低く、初期クエリが不十分になる。
- バッチモードアクティブラーニングは、クエリ間の相関が無視される場合、冗長なインスタンスを選択する可能性がある。
- ドロップアウトベースの不確実性(例:MCドロップアウト)を持つディープニューラルネットワークにアクティブラーニングを適用すると、分布外領域の不確実性を過小評価する可能性がある。
- 信頼区間なしでシードまたはクエリ予算全体のアクティブラーニング実行を比較すると、戦略の優位性に関する誤解を招く結論につながる。
よくある質問
アクティブラーニングは半教師あり学習とどう違うのですか?
半教師あり学習は、オラクルに問い合わせることなく、ラベルなしデータの構造(例:クラスタリング、多様体仮説)を利用し、疑似ラベルまたは一貫性正則化を使用してモデルを更新する。アクティブラーニングは、選択されたインスタンスに対してオラクルから明示的に真のラベルを要求する。これら2つのアプローチは補完的であり、組み合わせることができる。
実際にはどのクエリ戦略を使用すべきですか?
不確実性サンプリングは最も広く使用されているベースラインであり、二項分類器および多クラス分類器でうまく機能する。アンサンブルがすでに利用可能な場合は、クエリバイコミッティが好ましい。期待されるモデル変更またはBALD(Bayesian Active Learning by Disagreement)は、ディープモデルでより良いパフォーマンスを示す傾向があるが、計算コストが高い。不確実性サンプリングから始めて、代替案と比較してベンチマークしてください。
アクティブラーニングは回帰タスクに適用できますか?
はい。回帰では、情報量は通常、クラス確率エントロピーではなく、予測分散(例:ガウス過程またはアンサンブルから)によって測定される。学習者は分散が最も高い点をクエリする。これは、ベイズ最適化および代理モデルベースの実験計画における標準的な実践である。
関連する手法
参考文献
Settles, B. (2009). Active learning literature survey. University of Wisconsin-Madison Computer Sciences Technical Report 1648.
出版物の文献を開くコピーしました。