共形予測
- 提唱者
- Vovk, Gammerman & Shafer
- 年
- 2005
- 種類
- Distribution-free uncertainty quantification framework
- 系統
- Trustworthy ML
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
共形予測は、任意の事前学習済み機械学習モデルの出力の周りに、統計的に妥当な予測集合(分類の場合)または予測区間(回帰の場合)を構築するための、分布フリーのフレームワークです。Vovk、Gammerman、Shaferによって2005年のモノグラフで導入されたこの手法は、データの分布に関するパラメトリックな仮定を必要とせずに、有限標本での周辺カバレッジ保証(真のラベルが少なくとも1-αの確率で予測集合内に含まれる)を提供します。
手法の背後にある直感
例えば、天気予報が「明日の気温は22℃です」と言う代わりに、「明日の気温は19℃から25℃の間になり、この区間は長期的には少なくとも90%の日で正しいことが保証されます」と言うと想像してください。共形予測も同様に機能します。既存のモデルの点予測を、保持された例で較正されたデータ駆動型の安全マージンでラップすることで、データの収集方法に関する非常に穏やかな仮定の下で、結果の集合が証明可能に信頼できるものになります。
歴史学
共形予測は、1990年代後半の初期のオンライン帰納学習のアイデアに基づいて、Vladimir Vovk、Alexander Gammerman、Glenn Shaferによって2005年のSpringerモノグラフで形式化されました。トレーニングと較正を分離する帰納的(分割共形)バリアントは、手法のスケーラビリティを高めるために後に普及しました。2020年代にはディープラーニングでの急速な採用が見られ、条件付き保証のためのモンドリアン共形予測、リスク制御予測集合、共形リスク制御などの拡張が行われました。
使うべき場面
厳密な有限標本カバレッジ保証を、分布仮定なしにモデルの不確実性出力に必要とする場合に共形予測を使用してください。これは、テストデータと同じ分布からの較正データが利用可能な分類および回帰タスクの両方に適しています。限界としては、交換可能性の仮定(共変量シフト下では違反される)があり、カバレッジは周辺的であり条件付きではないため、一部のサブグループが過小または過大にカバーされる可能性があります。代替手段としては、ベイズ信頼区間(分布仮定が必要)や分位点回帰(共形ラッパーなしでは有限標本保証なし)があります。
限界と注意点
- カバレッジ保証は周辺的(テスト入力全体で平均)であり、個々のxに対する条件付きではありません。
- 較正データとテストデータの交換可能性を仮定します。共変量シフトまたはラベルシフト下では性能が低下します。
- 予測集合が、ベースモデルが弱い場合や目標とする誤カバレッジ率αが小さい場合に、情報量の少ない大きなものになることがあります。
- 分割共形法は専用の較正セットを必要とし、トレーニングに利用できるデータを削減します。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 任意のベースモデルに対して有効な、有限標本、分布フリーの周辺カバレッジ保証を提供します。
- モデル非依存:再トレーニングなしで、任意の事前学習済み分類器または回帰器をラップします。
- 推論時の計算負荷が軽い — 較正スコアの保存と分位数の計算のみが必要です。
- 柔軟な非適合度スコアは、物体検出や自然言語生成を含む多様なタスクへの適応を可能にします。
応用
- 医療診断:疾患分類のための予測集合を生成し、真の診断が高確率で含まれることを保証し、安全な臨床意思決定を支援します。
- 創薬:分子特性予測のための信頼性の高い信頼領域を生成し、化学者が高価なウェットラボテストの化合物を優先するのを支援します。
- 自動運転:物体検出出力の周りのカバレッジ保証付き不確実性領域を構築し、安全なフォールバック動作をトリガーします。
- 自然言語処理:テキスト分類のための較正済み予測集合と、大規模言語モデル出力におけるトークンレベルの不確実性。
- 金融リスク評価:分布仮定なしで規制当局の精査の下でも有効な、収益予測のための分布フリー予測区間。
使い方
使い方
従来の機械学習モデル(分類器、回帰器、ニューラルネットワークなど)は、専用のトレーニング分割でトレーニングされます。共形予測はこのモデルに依存せず、ブラックボックスとして扱います。最終的な予測集合の品質は、ベースモデルの精度に影響されますが、妥当性保証はモデルに関係なく保持されます。
数式
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})ベースモデルが見ていない別の較正分割で、各例に対して非適合度スコアが計算されます。回帰では、スコアは通常、絶対残差|y - f_hat(x)|です。分類では、真のクラスの予測確率から1を引いた値になります。これらのスコアは、各較正点がモデルに対してどれほど「驚くべき」かを測定します。
数式
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}較正された非適合度スコアの経験的(1-α)分位数が、有限標本補正係数を用いて計算されます。この補正された分位数q_hatは、データの交換可能性により、新鮮なテストポイントで少なくとも1-αの確率でカバレッジ保証が保持されることを保証する閾値です。
数式
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)新しいテスト入力x_newに対して、予測集合は、非適合度スコアがq_hatを超えないすべての候補ラベルyを含みます。回帰ではこれは区間[f_hat(x_new) - q_hat, f_hat(x_new) + q_hat]を生成し、分類では十分な予測確率を持つクラスのサブセットを生成します。この集合は、少なくとも1-αの周辺確率で真のラベルをカバーすることが保証されます。
数式
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}よくある落とし穴
- トレーニングセットを較正セットとして使用すると、楽観性が増幅され、妥当性保証が破壊されます — 常に保持された較正分割を使用してください。
- 周辺カバレッジと条件付きカバレッジの混同:保証は、すべてのサブポピュレーションがレベル1-αでカバーされていることを意味するものではありません。
- 分布シフトの無視:履歴データで較正された共形予測器をシフトしたデプロイメント分布に適用すると、理論的保証が破られます。
- 予測集合のサイズを直接的な信頼尺度と見なし、セットサイズがモデルの品質と選択されたαの共同関数であることを認識しないこと。
よくある質問
共形予測はデータの分布を知る必要がありますか?
いいえ。周辺カバレッジ保証は、交換可能性の仮定(較正点とテスト点が同じ分布からi.i.d.で描かれているというおおよその仮定)のみに依存します。パラメトリックなファミリーを指定する必要がないため、このフレームワークは「分布フリー」となります。これは、ベイズ信頼区間や正規性に基づく古典的な信頼区間に対する主な理論的利点です。
較正セットのサイズはどのように選択され、結果にどのように影響しますか?
較正セットが大きいほど、よりタイトで安定した経験的分位数推定値が得られ、予測集合が小さくなります。一般的な経験則として、少なくとも数百の較正例が必要です。非常に小さい較正セット(1/α点未満)では、有限標本補正によりカバレッジが完全なセットになり、手法が無意味になります。トレーニングセットのサイズと較正セットのサイズの間に標準的なバイアス・バリアンストレードオフがあります。
共形予測はディープニューラルネットワークに適用できますか?
はい。このフレームワークはモデル非依存であるため、変更なしに任意のニューラルネットワークをラップします。非適合度スコアは通常、分類の場合はモデルのソフトマックス出力、回帰の場合は点予測を使用して定義されます。計算上、較正には較正セットに対する単一のフォワードパスのみが必要であり、大規模モデルにとって非常に実用的です。
関連する手法
参考文献
Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.
ISBN:978-0-387-00152-4コピーしました。