ガウス過程
- 提唱者
- Rasmussen, C. E. & Williams, C. K. I.
- 年
- 2006 (book); roots in Kriging, 1951)
- 種類
- Probabilistic non-parametric model
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
ガウス過程(GP)は、関数上に直接事前分布を置くノンパラメトリックな完全確率的機械学習モデルである。単一の値を予測するのではなく、各テストポイントで予測平均と校正された不確実性推定値を返すため、小〜中規模データセットでの回帰やベイズ最適化タスクに特に価値がある。
手法の背後にある直感
データに固定された曲線を適合させる代わりに、ガウス過程は観測されたものと一致する可能性のある曲線の分布全体を維持する。データを見る前は、関数は滑らかである(カーネルによって定義される)と仮定する。データを見た後、その分布を狭める:近くのテストポイントはタイトで確信度の高い予測を受け取り、遠くやデータが疎な領域は広い不確実性バンドを生成する。この組み込みの不確実性定量化が、GPを他のほとんどのモデルと区別するものである。
歴史学
ガウス過程は、1950年代に地統計学のDanie Krigeによって開発され、Georges Matheronによって形式化されたクリーギングにそのルーツを持つ。機械学習への導入は、主にCarl RasmussenとChristopher Williamsによって推進され、彼らの2006年のMIT Pressの書籍が決定版の参考文献となり、GPをニューラルネットワークやカーネルSVMに対する原理的なベイズノンパラメトリック代替として確立した。特に不確実性定量化が不可欠な設定において。
使うべき場面
ガウス過程は、不確実性定量化が重要な小〜中規模データセット(最大数千行)で優れている — 例えば、科学実験、工学設計、または高コストなシミュレーションの代理モデリングなどである。これらはベイズ最適化の選択肢となる手法である。点推定値だけでなく、校正された予測区間が必要な場合、および入力と出力の関係が滑らかであることが期待される場合に、単純なモデルよりもGPを好む。nが約10,000観測値を超える場合は、正確な推論がO(n^3)でスケールするため、近似なしでは計算上実行不可能であるため、GPを避ける。GPは、注意深く調整されたカーネルが使用されない限り、非常に高次元の入力空間や不連続または高度に非定常な関数でも苦労する。
限界と注意点
- 正確な推論は時間でO(n^3)、メモリでO(n^2)であり、スパースまたは近似GPメソッドなしでは大規模なnに対して実用的ではない。
- カーネル距離における次元の呪いのために、非常に高次元の入力空間では性能が低下する。
- カーネルの選択と組み合わせにはドメイン知識が必要;不適切に選択されたカーネルは、不適切な不確実性校正につながる。
- 分類(GP分類器)には、追加のラプラス近似または期待値伝播近似が必要であり、複雑さが増す。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 点予測に加えて、校正された予測不確実性区間を返す。
- 極めてサンプル効率が高い — ツリーベースモデルが過学習する小規模データセットでも良好に機能する。
- カーネル選択は、滑らかさ、周期性、またはスケールに関するドメイン知識を柔軟にエンコードする。
- ハイパーパラメータは、周辺尤度を介してデータから学習され、自動正則化を提供する。
- ベイズ最適化および能動学習実験設計のためのネイティブフレームワーク。
応用
- 校正された信頼区間を必要とする、小〜中規模の科学技術データセットでの回帰。
- ハイパーパラメータチューニングや実験設計のような高コストなブラックボックス関数のベイズ最適化。
- 航空宇宙、材料科学、気候モデリングにおける高コストなコンピュータシミュレーションの代理モデリング。
- 時空間補間および地統計マッピング(クリーギング)。
- 能動学習:事後分散を使用して最も情報量の多い次の測定値を選択する。
- 季節構造をエンコードする周期的または複合カーネルを用いた時系列モデリング。
使い方
使い方
カーネル関数(一般的には二乗指数/RBF)は、関数の滑らかさと長さスケールに関する事前信念をエンコードする。任意の2つの入力ポイント間の類似性を測定する:類似した入力は類似した出力を生成すべきである。カーネル形状の選択は、GPが表現できる関数の種類を強く支配する。
数式
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)データが観測される前に、GPは関数上の事前分布を定義する:任意の有限個の関数値のコレクションは、平均関数m(x)とカーネルによって与えられる共分散を持つ同時ガウス分布となる。この事前分布は、未知の関数がどのように振る舞うかについての初期の信念である。
数式
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))観測された訓練データに事前分布を条件付けると、事後分布もまたガウス分布となる。事後平均は任意の新しい入力x*での点予測となり、事後分散は校正された信頼区間を提供し、訓練データが密な場所では自動的に狭まる。
数式
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)カーネルハイパーパラメータ(長さスケール、出力分散、ノイズレベル)は、訓練データの対数周辺尤度を最大化することによって推定される。この最適化は、データ適合とモデル複雑性のバランスを取り、個別のペナルティ項なしで自動正則化を実行する。
数式
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})予測時には、事後平均が点推定値として、事後標準偏差が不確実性バンドとして返される。どちらも直接使用できる:最良の推測として平均値を報告し、各新しい入力位置でモデルがどれだけ確信しているかを伝えるために区間を使用する。
よくある落とし穴
- 関数が実際に定常で滑らかであるかを確認せずにデフォルトのRBFカーネルを使用すること — 周期的なパターンや不連続なパターンには異なるカーネルが必要。
- 適合前に連続入力と出力を標準化することを忘れること。これは、共分散行列の条件が悪化する原因となる。
- 事後平均のみを成果物として扱い、モデルの主な貢献である不確実性バンドを無視すること。
- スパースまたは誘導点近似に切り替えることなく、nが約5,000を超えるデータセットに正確なGPを適用すること。
- 解釈する際に、アレアトリックノイズ(還元不可能な測定誤差)とエピステミック不確実性(モデルの不確実性)を混同すること。
よくある質問
どのカーネルから始めるべきか?
二乗指数(RBF)カーネルは、無限に微分可能で滑らかな関数を生成し、解釈可能な長さスケールと出力分散ハイパーパラメータを持つため、デフォルトの出発点である。関数がそれほど滑らかでないと予想される場合はMaternカーネルに切り替えるか、季節データの場合は周期成分を追加する。
私のデータセットには50,000行あります。GPはまだ使えますか?
その規模では正確なGP推論は実行不可能である。スパースGPメソッド(例:誘導点/FITC)または確率的変分GPを検討してください。これらはどちらも、訓練コストを約O(nm^2)にまで削減します。ここでmは誘導点の数(m << n)です。GPyTorchのようなライブラリはこれらを効率的に実装しています。
GPはベイズ線形回帰とどう違うのか?
ベイズ線形回帰は、固定された有限個の係数に事前分布を置く;したがって、モデルの柔軟性は選択された基底関数によって制限される。GPは無限次元空間の関数に直接事前分布を置くため、その実効的な複雑性は、基底展開を事前に指定する必要なしにデータに適応する。
不確実性推定値は本当に校正されていますか?
正しいモデルとカーネルの下では、GPの事後不確実性は構築によってよく校正される。実際には、カーネルの誤指定やノイズ構造の無視から不校正が生じる。常に事後予測チェックを実行する — 信頼区間のカバレッジとともに、観測値と予測値のプロットを作成する。
ガウス過程はカテゴリカルまたは混合型の入力を扱えますか?
標準的なGPカーネルは連続入力で動作する。カテゴリカル入力には特別なカーネル(例:ハミング距離カーネル)またはエンコーディングが必要である。主にカテゴリカルまたは非常に高次元の混合データの場合、ランダムフォレストや勾配ブースティングのようなツリーベースモデルが通常はより良い出発点となる。
関連する手法
参考文献
Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN:978-0-262-18253-9コピーしました。Gaussian process. Wikipedia.
出版物の文献を開くコピーしました。