ベイジアン・ガウス過程
- 提唱者
- O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
- 年
- 1978–2006
- 種類
- Probabilistic kernel model
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
ベイジアン・ガウス過程(GP)は、カーネルを用いて入力間の類似性をエンコードすることにより、関数上に直接確率分布を配置する。データを観測した後、ベイズの定理により、この事前分布は事後分布に変換され、点予測だけでなく、新しい各入力における校正済みの不確実性推定も提供する。これにより、機械学習における最も原理的な確率モデルの一つとなる。
手法の背後にある直感
データを通して無限に多くの妥当な曲線を描くことを想像してほしい。それぞれの曲線は、あなたが知っていることに矛盾しない。GPは、観測を見る前と見た後で、それぞれの曲線がどれほどあり得るかを定量化する。カーネルは、どの曲線が滑らかに見えるか、あるいはギザギザに見えるか、近いか遠いかを決定する。データが到着すると、GPは観測の周りの妥当な曲線の族を絞り込む一方で、データが少ない場所では正直な不確実性を保持する。これにより、予測と、その予測をどれだけ証拠が支持しているかを真に反映した信頼区間の両方が得られる。
歴史学
統計学におけるガウス過程の使用は、O'Hagan (1978) や地球統計学におけるクリーギング(Matheron, 1963)に遡る。機械学習への導入は、Neal (1996) が無限幅の極限でディープネットワークがGPに収束することを示し、RasmussenとWilliamsの2006年の書籍が標準的な参考文献となったことで触媒された。今日、GPはハイパーパラメータチューニングや工学・科学全般の実験計画におけるベイジアン最適化パイプラインの基盤となっている。
使うべき場面
校正済みの不確実性と予測の両方が必要な場合にベイジアンGPを使用する。例えば、アクティブラーニング、ベイジアン最適化、安全性クリティカルなアプリケーション、あるいは予測そのものと同じくらいモデルが知らないことを知ることが重要な科学的推論などである。これは、小規模から中規模のデータセット(最大数千の観測値)で、連続的または構造化された入力と滑らかな基底関数を持つ場合に優れている。データセットが約10,000行を超える場合(スパースまたは近似GP手法なし)、入力空間が高次元(約20特徴量以上)の場合(強い事前構造なし)、または高速で不透明な点予測子が必要なだけであれば、GPの使用は避ける。
限界と注意点
- 正確な推論における計算コストはO(n^3)の立方であり、スパース近似なしでは数千の観測値までのデータセットにしか使用できない。
- カーネルの選択は影響力が大きく、ドメインの専門知識が必要である。誤って指定されたカーネルは、予測と不確実性推定の両方を低下させる。
- 非ガウス尤度(分類、カウント)では閉形式の推論が破綻し、複雑さを増す近似が必要となる。
- 次元削減または構造化カーネルなしでは、高次元入力空間へのスケーリングが悪い。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 点推定だけでなく、完全に校正された予測分布を生成する。
- 回帰における閉形式の事後分布 — 中程度のデータではサンプリング不要で正確。
- カーネル選択は、滑らかさ、周期性、構造に関する豊富なドメイン知識をエンコードする。
- 対数周辺尤度は、自動的なハイパーパラメータ学習とモデル比較を提供する。
- 不確実性が最も高い場所を定量化することにより、アクティブラーニングとベイジアン最適化を自然にサポートする。
- サンプル効率が良い:ディープラーニングが一般化できない小規模データセットで良好な性能を発揮する。
応用
- ハイパーパラメータチューニング、実験計画、およびAutoMLのためのベイジアン最適化。
- 工学シミュレーションおよびコンピュータ実験における代理モデリング。
- 空間補間および地球統計学(クリーギング)。
- 原理的な不確実性定量化を伴う時系列予測。
- アクティブラーニング:事後分散に基づいて最も情報量の多い次の観測を選択する。
- 予測と同時に不確実性伝播が必要な科学的推論。
使い方
使い方
GPの事前分布は、平均関数 m(x)(しばしばゼロに設定される)と、2つの入力における出力がどのように共分散するかをエンコードする共分散(カーネル)関数 k(x,x') によって定義される。これらが一体となって、すべての関数上の分布を指定し、モデルはデータが観測される前に候補解をそこからサンプリングする。
数式
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))カーネルは中心的なモデリングの選択肢である。一般的なカーネルには、二乗指数(RBF)、Matern、周期、線形カーネルなどがあり、それぞれが滑らかさ、周期性、またはトレンドに関する異なる仮定をエンコードする。ドメイン知識は、ターゲット関数の期待される振る舞いに一致するカーネルを選択または合成するために使用される。
訓練観測値 (X, y) が与えられると、回帰のために閉形式でベイズの定理が適用され、事後GPが得られる。事後平均は、任意の新しい入力 x* における点予測を提供し、事後分散は残りの不確実性を定量化する。これは観測値の近くでは縮小し、未踏の領域では広がる。これにより、予測と、その予測をどれだけ証拠が支持しているかを真に反映した信頼区間の両方が得られる。
数式
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})カーネルのハイパーパラメータ(長さスケール、出力分散、ノイズレベル)は、対数周辺尤度を最大化することによって学習される。これは、モデルの複雑さに対してデータの適合度を自動的にバランスさせる。この組み込みのオッカムの剃刀は、多くの場合、ハイパーパラメータ選択のための別個の交差検証を回避する。
数式
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})新しい点での最終的な予測分布は、回帰の場合はガウス分布であり、平均と分散を返す。分類の場合は、追加の近似ステップ(ラプラス近似、期待値伝播、または変分推論)が、潜在GPをクラス確率に変換する。
よくある落とし穴
- データが実際に滑らかで定常的であるかどうかを考慮せずに、デフォルトのRBFカーネルを使用すること。
- 事後予測分散を無視し、平均のみを報告して、モデルの主要な利点を捨てること。
- 大規模データセット(n > 10,000)にスパースまたは誘導点近似を使用せずに正確なGP推論を適用し、メモリと速度の障害を引き起こすこと。
- GPハイパーパラメータ最適化(周辺尤度)とハイパーパラメータ全体に対する完全なベイズ推論を混同すること — 後者はMCMCを必要とし、実際にはめったに行われない。
- 非ガウス尤度における分類GP出力を、あたかも潜在事後分布が正確であるかのように扱うこと。近似誤差を考慮せずに。
よくある質問
ガウス過程は本質的にベイジアンか?
はい。GPは関数上の事前分布を定義し、データによる条件付けはベイズの定理を通じて事後分布をもたらす。予測分布は、事後確率で重み付けされたすべての妥当な関数の周辺化であり、これはベイズ推論の定義的な特性である。
カーネルの選択方法は?
まず、関数が滑らか(RBF/二乗指数)、周期的(周期カーネル)、または区分的に不規則(Matern 3/2または5/2)であることが期待されるかどうかを問うことから始める。カーネルは、複合構造を捉えるために加算的または乗算的に組み合わせることができる。対数周辺尤度を使用して選択を検証する。
数千のデータポイントにGPを使用できますか?
正確なGP推論の計算コストはO(n^3)であり、最新のハードウェアでは数千ポイントまで実行可能である。より大規模なデータセットの場合は、スパースGP近似(FITCやVFEなどの誘導点法)または確率的変分GPを使用する。これらは数百万の観測値までスケーリング可能である。
GP回帰とGP分類の違いは何ですか?
GP回帰はガウス尤度を使用するため、事後分布もガウス分布であり、閉形式で計算できる。GP分類はベルヌーイ(またはソフトマックス)尤度を使用するが、これは非ガウス分布であるため、事後分布は近似する必要がある。一般的にはラプラス近似または期待値伝播が用いられる。
GPはニューラルネットワークと比較してどうですか?
GPは小規模データに適しており、校正済みの不確実性をすぐに提供し、カーネルを通じて解釈可能である。ニューラルネットワークは、大規模で高次元のデータで優位性を持つ。特定の活性化関数を持つ無限幅ニューラルネットワークは、数学的にGPと同等であり、両者の間の深い理論的つながりを示している。
関連する手法
参考文献
Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN:978-0-262-18253-9コピーしました。Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.
ISBN:978-0-387-31073-2コピーしました。