アクティブラーニング・ガウシアンプロセス
- 提唱者
- MacKay, D. J. C.
- 年
- 1992
- 種類
- Bayesian active learning
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
アクティブラーニング・ガウシアンプロセス(GP-AL)は、ガウシアンプロセス確率モデルとアクティブラーニングのクエリ戦略を組み合わせたもので、GPの後部不確実性を用いて最も情報量の多いラベルなしサンプルを選択してラベル付けを行います。この反復的なアプローチは、ラベル付けの労力を最小限に抑えつつ予測精度を最大化するため、ラベル付きデータが乏しい、または取得コストが高い場合に理想的です。
手法の背後にある直感
ガウシアンプロセスは、値だけでなく、その確信度も予測します。アクティブラーニングはこの特性を利用します。ランダムにデータをラベル付けするのではなく、アルゴリズムはラベルなしのすべての点を調べ、GPが最も不確実な点のみを人間(またはオラクル)にラベル付けするように要求します。ラベル付け後、GPは信念を更新し、サイクルが繰り返されます。この標的型アプローチは、ランダムサンプリングやパッシブサンプリングよりもはるかに効率的に情報量の多いラベルを取得し、しばしばラベル付きデータのほんの一部で高いモデル性能を達成します。
歴史学
確率モデルの訓練点を 選択するために情報理論的基準を使用するという考えは、MacKay(1992)によって形式化されました。彼は、オラクルからの情報利得の最大化が、ベイズモデル下での高分散点の選択と同等であることを示しました。ガウシアンプロセスは、正確な後部分布を生成するため、自然な適合となりました。この分野は、Lawrence、Settles(2012)の研究、およびハイパーパラメータ探索のために同じGPプラス獲得関数フレームワークを再利用するベイズ最適化コミュニティを通じて2000年代に成熟しました。
使うべき場面
ラベル付きデータが乏しい、または取得コストが高い場合(科学実験、医学研究、または産業テスト)、および予測とともに校正された不確実性推定値が必要な場合にGP-ALを使用します。滑らかまたは中程度の非線形関数を持つ低から中程度の次元の連続入力空間、および小から中程度のデータセット(最大数千点)の設定で優れています。入力空間が非常に高次元である場合(GPカーネルのスケールが悪いため)、データセットがすでに大きい場合(GP推論はO(n^3))、またはオラクルのラベル付けコストが無視できるほどでランダムサンプリングで十分な場合は使用しないでください。
限界と注意点
- ラベル付き点の数における3次計算複雑性O(n^3)は、スパースまたは誘導点近似なしでは数千の観測へのスケーリングを高くつきます。
- GPカーネルが構造を効率的に捉えるのに苦労するため、高次元入力空間では性能が低下します。
- オラクルが常に利用可能であり、クエリされた任意の点をエラーや遅延なしでラベル付けできると仮定します。
- カーネル選択は自明ではありません。誤って指定されたカーネルは、不適切に校正された不確実性や最適でないクエリにつながる可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 原理に基づいた不確実性定量化:GPの後部は、ヒューリスティックなしでクエリ戦略を直接駆動します。
- 劇的なラベル効率 — 受動的に訓練されたモデルと同等の精度を、はるかに少ないラベル付き例で達成します。
- 柔軟なカーネル選択により、実務家は関数の滑らかさに関するドメイン知識をエンコードできます。
- 予測とともに校正された信頼区間を提供し、下流の意思決定をサポートします。
- 小から中程度のデータセットをうまく処理します。このようなデータセットでは、ディープラーニングアプローチは通常性能が劣ります。
- アクティブラーニングループは解釈可能です。各クエリは、測定可能な不確実性スコアによって正当化されます。
応用
- 各実験が高価で、入出力面が未知である、創薬および材料科学。
- 放射線医によるレビューのために最も曖昧なスキャンを選択する、医用画像アノテーション。
- 疎なセンサーフィードバックから効率的に制御ポリシーを学習するための、ロボット工学および自律システム。
- 環境モニタリング、空間的不確実性が最大の場所にセンサーを向ける。
- GPが損失面をモデル化し、アクティブクエリが評価する次の構成を選択する、ハイパーパラメータ最適化(ベイズ最適化)。
使い方
使い方
少数の初期ラベル付きデータセットから開始し、GPカーネル(例:二乗指数、マーテル)とノイズモデルを指定します。カーネルは、学習中の関数の滑らかさと長さスケールに関する事前仮定をエンコードします。
現在のラベル付きセットにGPを適合させます。GPは、すべてのラベルなし候補を含むすべての点に対して、出力空間上の後部予測分布(平均予測と分散(不確実性))を返します。
数式
p(f^* | X, y, x^*) = \mathcal{N}(\mu^*, \sigma^{*2})獲得関数(最も一般的には最大予測分散、しかしエントロピーや期待改善量も含む)を適用して、ラベルなし点をランク付けします。最も高いスコアを持つ点は、モデルの不確実性を低減するための最も多くの情報を持つため、ラベル付けのために選択されます。
数式
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)選択された点をオラクル(人間のアノテーター、実験、または自動センサー)に提示してラベル付けを行います。真のラベルを取得し、成長中のラベル付きデータセットに追加します。
新しくラベル付けされた点を含めてGPを再適合させます。GPは正確なベイズ更新をサポートするため、後部は新しい観測を反映するようにシフトし、その点の近くの不確実性を低減し、他の場所でそれを再形成する可能性があります。
予算(ラベル数、計算時間、または目標精度しきい値)が満たされるまで、獲得・クエリ・更新サイクルを繰り返します。終了時に、最終的なGPが新しいテストデータでの予測に使用されます。
よくある落とし穴
- 関数が実際に滑らかであるかどうかを検証せずにデフォルトのRBFカーネルを使用すること — 滑らかさの仮定の誤指定は、不確実性推定値とクエリ選択を歪めます。
- 初期化戦略を無視すること:不適切な初期ラベル付きセット(例:狭い領域からのすべて)は、モデルを偏らせ、探索を遅らせます。
- 入力と出力の正規化を忘れること。GPはスケールに敏感であり、正規化されていないデータは共分散行列の数値的不安定性を引き起こす可能性があります。
- 獲得スコアを、現在のラベルなしプール内での相対的なランキングではなく、重要性の絶対的な尺度として扱うこと。
- スパースGP近似なしで数千の例のデータセットにGP-ALを適用すること。これにより、実行時間が許容できなくなります。
よくある質問
GP-ALは標準的なガウシアンプロセス回帰とどのように異なりますか?
標準的なGP回帰は、提供されたラベル付きデータを受動的に適合させます。GP-ALは、GPの不確実性によってガイドされ、次にどのラベルなし点をラベル付けするかを積極的に選択する外側のループを追加するため、モデルは取得したラベルごとに多くを学習します。
どの獲得関数を使用すべきですか?
最大予測分散は最もシンプルで一般的な選択肢であり、純粋な探索にうまく機能します。特定の目標値または分類境界を特定する必要がある場合は、期待改善量またはエントロピーベースの基準が好ましい場合があります。
開始するには、いくつの初期ラベル付きポイントが必要ですか?
数個 — しばしば5から20個 — 入力空間をカバーするように選択された(例:ラテン超方格または空間充填設計による)ものであれば、GPを初期化し、最初のクエリラウンドで意味のある不確実性推定値を生成するのに十分です。
この方法は分類タスクにも有効ですか?
はい、GP分類(プロビットまたはロジスティックリンク関数を使用)を使用します。不確実性定量化には近似推論(例:ラプラス近似または期待伝播)が必要であり、回帰ケースよりもわずかに複雑になります。
GP-ALよりもランダムフォレストやニューラルネットワークを好むべきなのはいつですか?
データセットが大きい(数千以上のラベル付き例)または高次元(多くの入力特徴)の場合。GPの計算コストとカーネルの表現力が制限となるためです。モンテカルロドロップアウトを備えたニューラルネットワークは、これらの領域でのアクティブラーニングの拡張可能な代替手段として機能します。