Skip to content
検索結果に戻る

モデルキャリブレーション

提唱者
Platt; Guo et al.
年
2017
種類
Post-hoc probability correction technique
系統
Trustworthy ML

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

モデルキャリブレーションは、訓練済み分類器の確率出力を調整して、予測された信頼度スコアが経験的な結果頻度と一致するようにする事後技術である。分類器は、信頼度pでなされたすべての予測のうち、ちょうどpの割合が正しい場合に、完全にキャリブレートされていると言われる。現代の深層ニューラルネットワークの体系的な不正確さは、Guoら(2017)によって厳密に文書化されており、標準的なクロスエントロピー損失で訓練されたネットワークは過度に確信的になる傾向があることを示し、温度スケーリングをシンプルで効果的な治療法として提案した。

手法の背後にある直感

天候予報士が100日間にわたって「雨の確率が90%」と言う状況を想像してみよう。もしそのうち60日しか実際に雨が降らなかった場合、その予報士は過度に確信的である。キャリブレーションとは、予報士の尺度を再調整して、90%と言ったときに、雨の確率は実際に90%になるようにすることである。ニューラルネットワークの場合、これはネットワークがどれだけ正確であるかをラベル上の数字が忠実に反映するように、生の信頼度スコアをストレッチまたは圧縮することを意味する。

歴史学

確率キャリブレーションは、SVM出力にシグモイドを適合させたPlattスケーリング(Platt, 1999)や、ナイーブベイズ分類器に適用されたアイソトニック回帰にルーツを持つ。現代的な扱いは、ResNetやその他のアーキテクチャをベンチマークし、モデル容量と相関する体系的な過信を見出したGuoら(2017)によって大幅に進歩した。彼らの温度スケーリングの提案は標準的なベースラインとなり、2010年代後半から2020年代にかけて、クラス条件付きキャリブレーション、アンサンブルキャリブレーション、分布シフト下でのキャリブレーションに関するフォローアップ研究を促進した。

使うべき場面

予測確率が、医療リスク層別化、不正スコアリング閾値、またはコストに敏感な分類器など、その額面通りの値に依存する下流の決定に影響を与える場合はいつでもモデルキャリブレーションを使用する。これは、Guoら(2017)がモデルの深さと幅が増加するにつれて深層ニューラルネットワークがますます過度に確信的になることを示したため、特に重要である。キャリブレーションは、代表的なホールドアウトセットを想定している。キャリブレーション分布と展開分布間の分布シフトを修正することはできない。点確率ではなく予測区間が必要な場合は、代わりに共形予測を検討する。

限界と注意点

  • キャリブレーションにはホールドアウトされた検証セットが必要である。小さなキャリブレーションセットは信頼性の低い温度推定値を生み出す。
  • 温度スケーリングは、単一のグローバルスカラーで十分であると仮定するが、不正確さがクラスまたは領域固有である場合には失敗する可能性がある。
  • ECEはビンの数と幅に敏感であり、標準化なしでは研究間の比較がノイズが多くなる。
  • キャリブレーションはシャープネスや識別能力を向上させない。識別能力の低いモデルは、キャリブレーション後も依然としてそうである。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 温度スケーリングは1つのパラメータしか追加せず、分類精度を低下させることはないため、非常に軽量である。
  • ECEは、修正前後の不正確さを定量化する、解釈可能で実用的な診断指標を提供する。
  • 事後キャリブレーションはモデルに依存せず、再訓練なしに任意の訓練済み分類器に適用できる。
  • 適切にキャリブレートされた確率は、下流パイプラインでの信頼性の高い閾値選択と期待値計算を可能にする。

応用

  • 不正確なリスクスコアが不適切な治療閾値につながる医療診断システム。
  • 確率出力がコストに敏感な承認/拒否決定を駆動する信用スコアリングおよび不正検出。
  • モデル出力の信頼度重み付け集約が必要な自然言語処理分類器。
  • 下流の推論の前に候補検出をフィルタリングするために信頼度閾値を使用する物体検出パイプライン。
  • 複数のモデルからの出力を共通の確率スケールで組み合わせる必要があるアンサンブルおよび連合学習設定。

使い方

使い方

1

各検証例について、すべてのクラスにわたる最大ソフトマックス確率を、モデルの報告された信頼度として抽出する。このスカラーは、モデルがトップ予測についてどれだけ確信しているかを示し、キャリブレーションパイプラインへの生の入力として機能する。

数式
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)
2

信頼度によって予測をM個の等幅ビンに分割する。各ビンについて、平均信頼度と平均精度の間のギャップを計算し、ビン全体で加重平均を取る。結果として得られる期待キャリブレーション誤差(ECE)は主要な診断指標であり、低いECEは予測確率と観測頻度の間のより良い整合性を示す。

数式
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
3

ソフトマックス前のロジットベクトルを、ソフトマックスの前に単一の学習可能なスカラーTで割る。Tが1より大きい場合、分布は平坦化され、過信が減少する。Tが1より小さい場合、分布はシャープになる。温度スケーリングは予測のランク順序を変更せず、精度を維持したままキャリブレーションを改善する。

数式
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0
4

ホールドアウトされた検証セットの負の対数尤度(NLL)を最小化することによって、最適な温度T*を見つける。これは1次元の凸最適化問題であり、勾配降下法またはラインサーチによって効率的に解かれる。結果として得られるT*は固定され、推論時にすべての将来の予測に適用される。

数式
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)

よくある落とし穴

  • 訓練に使用したデータと同じデータでキャリブレーションを行うと、過学習が発生し、訓練セットでECEが偽低になる。
  • キャリブレートされた確率を不確実性推定値のように報告することは、アレアトール不確実性とエピステミック不確実性を混同する。
  • ECEのみを報告すると、テール部分の不正確さを見逃す可能性がある。スカラーメトリックと並んで信頼性図を常に視覚化する。
  • シフトした展開分布にキャリブレートされたモデルを適用すると、キャリブレーションが無効になり、誤解を招く信頼度を生じる可能性がある。

よくある質問

キャリブレーションは分類精度に影響しますか?

温度スケーリングはクラス確率のランク順序を変更しないため、トップ1精度は変更されない。アイソトニック回帰などの他のキャリブレーション方法は、まれにargmax予測を変更する可能性があるが、それらの主な目的は分類精度ではなく確率精度であり、精度への影響は通常無視できる程度である。

私のモデルがキャリブレーションを必要とするかどうかはどうすればわかりますか?

信頼性図をプロットする:予測を信頼度ビンごとにグループ化し、平均信頼度と経験的精度をプロットする。完全にキャリブレートされたモデルは対角線に沿う。一貫して対角線より上にある曲線は過信を示し、下にある曲線は過小評価を示す。単一の要約統計量としてECEを計算する。実務では、約0.05を超える値は一般的に無視できない不正確さと見なされる。

アイソトニック回帰を温度スケーリングの代わりにいつ使用すべきですか?

アイソトニック回帰は非パラメトリックな単調関数であり、確率範囲全体にわたる複雑で不均一な不正確さを捉えることができる。信頼性図が非単調または不規則なパターンを示す場合は、それを優先する。しかし、アイソトニック回帰は信頼性の高いフィッティングにより多くのデータが必要であり、キャリブレーションセットが小さい場合や、シンプルさと解釈可能性が優先される場合は、通常、温度スケーリングが好まれる。

関連する手法

参考文献

  1. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.

    出版物の文献を開く
    コピーしました。