半教師ありガウス過程
- 提唱者
- Lawrence, N. D. & Jordan, M. I.
- 年
- 2004
- 種類
- Probabilistic model (semi-supervised)
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
半教師ありガウス過程は、少数のラベル付き観測データとともにラベルなしデータを活用するために、確率的GPフレームワークを拡張したものです。関数上にGP事前分布を置き、ラベルなし入力によって明らかにされる幾何学的構造を利用することで、ラベルが少ない場合には純粋な教師ありGPよりも正確で、より適切に較正された予測器を学習します。これは、アノテーションが高価な科学的および医学的問題に適しています。
手法の背後にある直感
標準的なガウス過程は、滑らかな関数上の分布を定義し、ラベル付き訓練点に条件付けして予測を形成します。ラベルが少ない場合、この条件付き事後分布はデータ疎な領域で高い不確実性を示します。半教師ありGPは、ラベルなし入力を使用して入力空間の潜在的な多様体または密度構造を明らかにすることによって、これを解決します。カーネル(類似性をエンコードする)は、多くのラベルなし点によって形成されるため、モデルはラベルを見る前にデータがどこに存在するのかを学習します。これにより、事後分布の不確実性が劇的に減少し、少数のラベル付き例からの汎化が向上します。
歴史学
半教師ありGPフレームワークは、LawrenceとJordanによってNeurIPS 2004で正式に導入され、RasmussenとWilliamsの機械学習のための基礎的なGP(2006年書籍、1996年からの初期原稿が流通)に基づいています。このアプローチは、多様体正則化、グラフラプラシアン、およびベイズノンパラメトリクスのアイデアを組み合わせ、スパースGP、ディープカーネル学習、および確率的出力を持つグラフニューラルネットワークなどの後続の研究に影響を与えました。
使うべき場面
ラベル付きデータが少なく、ラベルなしデータが豊富な場合、予測とともに較正された不確実性推定が必要な場合、およびラベルなし点が明らかにできる滑らかな幾何学的構造を持つ入力空間がある場合に、半教師ありガウス過程を使用してください。アノテーションが高価な生物学、医学、物理科学の設定で優れています。データセットが大きい場合(数千のラベル付き点)、GP推論はラベル付き点の数に対してO(n^3)でスケーリングし、計算上実行不可能になるため、避けてください。また、注意深いカーネルエンジニアリングなしで入力次元が非常に高い場合(約50特徴量以上)、または解釈可能な係数が確率的予測よりも主要な成果物である場合も避けてください。
限界と注意点
- ラベル付き点の数に対する立方スケーリングO(n^3)は、スパース近似なしでは数千の観測を超える場合には非現実的です。
- 分類のような非ガウス尤度には近似推論(ラプラス、EP)が必要であり、近似誤差が生じます。
- パフォーマンスはカーネルの選択と、ラベルなし点が入力多様体を忠実に表しているという仮定に大きく依存します。
- 計算集約的なハイパーパラメータ最適化は遅くなる可能性があり、高次元では悪い局所最適解に収束する可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 各予測とともに較正された不確実性を提供する、完全な予測分布を生成します。
- ラベルが少ない場合、ラベルなしデータは精度を劇的に向上させ、アノテーション予算をより有効に活用できます。
- カーネルの柔軟性により、滑らかさ、周期性、または入力ジオメトリに関するドメイン知識をエンコードできます。
- 原則的なベイズフレームワークは、周辺尤度最大化によるハイパーパラメータ選択をサポートします。
- 多出力GP拡張を通じて、多出力および構造化予測タスクを自然に処理します。
応用
- 分子記述子からの薬剤活性予測(少数のアッセイラベル付き化合物を使用)。
- 専門家によるアノテーションは限られているが、生の画像は豊富にある医療画像分類。
- 少数の校正済み読み取り値と多数の未校正測定値を使用した環境センサーモデリング。
- 限られた表現型ラベルを持つが、大規模なトランスクリプトームデータセットがある遺伝子発現分類。
- ラベル付き実験測定が高価な化学および物理学における材料特性予測。
使い方
使い方
カーネル関数k(x_i, x_j)は、ターゲット関数の滑らかさとスケールに関する事前信念をエンコードします。半教師あり設定では、グラフベースまたは多様体適合カーネルが、すべての利用可能な入力(ラベル付きおよびラベルなしの両方)から構築されるため、類似性尺度は生のユークリッド距離ではなく、真のデータジオメトリを反映します。
数式
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)ゼロ平均GP事前分布f ~ GP(0, k)が潜在関数上に置かれます。カーネルは完全なラベルなしプールから推定されたため、この事前分布は、ラベルが組み込まれる前に、入力多様体の幾何学的構造をすでにエンコードしています。
数式
f \sim \mathcal{GP}(0, k)ラベルなし点は、すべての入力上にグラフラプラシアン正則化器を構築することによって、または推論中に周辺化される補助変数としてラベルなし位置での潜在関数値を扱うことによって、モデルに統合されます。どちらのアプローチも、大量のラベルなしプールが事後分布を制約し、安定させることを可能にします。
ラベル付き観測に条件付けることは、GP事前分布を関数上の事後分布に更新します。分類設定では、ガウス尤度が非ガウス観測モデルに置き換えられるため、近似推論(ラプラス近似または期待値伝播)が含まれます。
数式
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
新しい入力x*に対して、事後予測分布は解析的(回帰)または近似(分類)によって計算されます。出力は完全な予測分布(平均と分散)であり、点推定だけでなく、較正された不確実性も提供します。これは、ラベルの少ない科学分野では不可欠です。
数式
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]よくある落とし穴
- スパース誘導点近似なしで数千点の密なGPを適合させようとして、O(n^3)コストを無視すること。
- データ多様体に適合させることなく、標準的なユークリッド距離カーネルを使用し、ラベルなしプールを無駄にすること。
- 事後平均をハード予測として扱い、不確実性推定を破棄すること。これは識別モデルに対する主な利点です。
- ラベルなしデータが微妙な分布シフトを引き起こす可能性があるため、テストドメインに一致しない場合、保持されたラベル付きセットで検証しないこと。
- ラベルなし/ラベル付き比率がすでに高い場合に手法を適用すること。この場合、追加の複雑さは教師ありGPに対するわずかな利益しか生みません。
よくある質問
標準的な教師ありガウス過程とどう違うのですか?
教師ありGPはラベル付きデータのみに条件付けし、ラベルなし入力を無視します。半教師あり変種は、ラベルに条件付ける前に、ラベルなし入力を使用してカーネルを形成するか、関数事前分布を制約するため、データ多様体を活用し、ラベルが少ない場合に汎化誤差を低減します。
主な計算上のボトルネックは何ですか?
GP推論は訓練点の数に対して立方オーダーです。スパース誘導点法(例:FITC、VFE)は、これをm個の誘導点の数(通常50〜500)に対してO(nm^2)に削減し、大規模な半教師ありGPを可能にします。
ラベルなしデータの統合のためにカーネルをどのように選択しますか?
一般的なアプローチは、すべての入力上で計算されたグラフラプラシアンまたは熱拡散カーネルです。あるいは、データが低次元で滑らかに分布している場合、データ分布全体(ラベル付き+ラベルなし)で調整された長さスケールを持つ標準的なRBFカーネルは、比較的うまく機能します。
ラベルなしデータを統合した後、較正された不確実性は維持されますか?
原理的にははい—ベイズフレームワークは較正された事後分布を生成します—しかし、分類(ラプラス、EP)およびスパース法(誘導点)のために導入された近似は、較正を低下させる可能性があります。ラベル付き検証セットで期待キャリブレーション誤差(ECE)を評価することが良い習慣です。
どのような場合に、この手法よりも半教師ありSVMを優先すべきですか?
単純なマージンベースの決定境界が必要で、高次元のスパース特徴量(例:テキスト)があり、不確実性推定が必要ない場合は、半教師ありSVM(S3VM/転移性SVM)を優先してください。確率的出力とカーネルの柔軟性が重要な場合は、半教師ありGPを選択してください。
関連する手法
参考文献
Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.
出版物の文献を開くコピーしました。Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN:978-0-262-18253-9コピーしました。