Skip to content
Retour aux résultats

Calage du modèle

Introduite par
Platt; Guo et al.
Année
2017
Type
Post-hoc probability correction technique
Famille
Trustworthy ML

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le calage du modèle est une technique post-hoc qui ajuste les sorties de probabilité d'un classifieur entraîné afin que les scores de confiance prédits correspondent aux fréquences empiriques des résultats.

Un classifieur est dit parfaitement calé si, parmi toutes les prédictions faites avec une confiance p, exactement une fraction p d'entre elles sont correctes. La mauvaise calibration systématique des réseaux neuronaux profonds modernes a été rigoureusement documentée par Guo et al. (2017), qui ont montré que les réseaux entraînés avec une perte d'entropie croisée standard ont tendance à être trop confiants, et ont proposé la mise à l'échelle par température comme un remède simple et efficace.

L’intuition derrière la méthode

Imaginez un météorologue qui dit 'il y a 90% de chances de pluie' 100 jours différents. Si seulement 60 de ces jours voient effectivement de la pluie, le météorologue est trop confiant. Le calage, c'est comme recalibrer l'échelle du météorologue pour que lorsqu'il dit 90%, le taux de pluie soit réellement de 90%. Pour un réseau neuronal, cela signifie étirer ou compresser ses scores de confiance bruts jusqu'à ce que les chiffres sur l'étiquette reflètent fidèlement la fréquence à laquelle le réseau a raison.

Histoire

Le calage de probabilité a ses racines dans le calage de Platt (Platt, 1999), qui ajustait une sigmoïde aux sorties SVM, et la régression isotonique appliquée aux classifieurs bayésiens naïfs. Le traitement moderne a été considérablement avancé par Guo et al. (2017), qui ont comparé ResNet et d'autres architectures et ont trouvé une surconfiance systématique corrélée à la capacité du modèle. Leur proposition de mise à l'échelle par température est devenue une référence standard, stimulant des travaux de suivi sur le calage conditionnel à la classe, le calage d'ensemble, et le calage sous décalage de distribution tout au long de la fin des années 2010 et 2020.

Quand l’utiliser

Utilisez le calage du modèle chaque fois que les probabilités prédites alimenteront des décisions en aval qui dépendent de leur valeur nominale, telles que la stratification des risques médicaux, les seuils de notation de fraude, ou les classifieurs sensibles aux coûts. Il est particulièrement important pour les réseaux neuronaux profonds, dont Guo et al. (2017) ont démontré qu'ils devenaient de plus en plus trop confiants à mesure que la profondeur et la largeur du modèle augmentent. Le calage suppose un ensemble représentatif mis de côté ; il ne peut pas corriger le décalage de distribution entre les distributions de calage et de déploiement. Lorsque des intervalles de prédiction plutôt que des probabilités ponctuelles sont nécessaires, envisagez la prédiction conforme à la place.

Limites et points d’attention

  • Le calage nécessite un ensemble de validation mis de côté ; de petits ensembles de calage produisent des estimations de température peu fiables.
  • La mise à l'échelle par température suppose qu'un seul scalaire global suffit, ce qui peut échouer lorsque le mauvais calage est spécifique à la classe ou à la région.
  • L'ECE est sensible au nombre et à la largeur des intervalles, rendant les comparaisons inter-études bruitées sans standardisation.
  • Le calage n'améliore pas la netteté ou la capacité discriminative ; un modèle mal discriminant reste tel après calage.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • La mise à l'échelle par température n'ajoute qu'un seul paramètre et ne peut pas réduire la précision de classification, ce qui la rend extrêmement légère.
  • L'ECE fournit un diagnostic interprétable et actionnable qui quantifie le mauvais calage avant et après correction.
  • Le calage post-hoc est indépendant du modèle et peut être appliqué à tout classifieur pré-entraîné sans réentraînement.
  • Des probabilités bien calées permettent une sélection fiable des seuils et des calculs de valeur attendue dans les pipelines en aval.

Applications

  • Systèmes de diagnostic médical où des scores de risque mal calés conduisent à des seuils de traitement incorrects.
  • Notation de crédit et détection de fraude où les sorties de probabilité pilotent des décisions d'acceptation/rejet sensibles aux coûts.
  • Classifieurs de traitement automatique du langage naturel où une agrégation pondérée par la confiance des sorties du modèle est requise.
  • Pipelines de détection d'objets qui utilisent des seuils de confiance pour filtrer les détections candidates avant le raisonnement en aval.
  • Paramètres d'apprentissage d'ensemble et fédéré où les sorties de plusieurs modèles doivent être combinées sur une échelle de probabilité commune.

Comment ça marche

Comment ça marche

1

Pour chaque exemple de validation, extrayez la probabilité softmax maximale sur toutes les classes comme confiance rapportée par le modèle. Ce scalaire représente la certitude que le modèle prétend avoir concernant sa prédiction principale et sert d'entrée brute au pipeline de calage.

Formule
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)
2

Partagez les prédictions en M intervalles de largeur égale par confiance. Pour chaque intervalle, calculez l'écart entre la confiance moyenne et la précision moyenne, puis prenez une moyenne pondérée sur les intervalles. L'Erreur de Calage Attendue (ECE) résultante est le diagnostic principal : une ECE plus faible indique un meilleur alignement entre les probabilités prédites et les fréquences observées.

Formule
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
3

Divisez le vecteur de logit pré-softmax par un scalaire apprenable unique T avant le softmax. Lorsque T est supérieur à 1, la distribution est aplatie, réduisant la surconfiance ; lorsque T est inférieur à 1, elle est affinée. La mise à l'échelle par température ne modifie pas l'ordre des rangs des prédictions, laissant la précision inchangée tout en améliorant le calage.

Formule
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0
4

Trouvez la température optimale T* en minimisant la log-vraisemblance négative (NLL) de l'ensemble de validation mis de côté. Il s'agit d'un problème d'optimisation convexe unidimensionnel, résolu efficacement par descente de gradient ou recherche linéaire. Le T* résultant est ensuite fixé et appliqué au moment de l'inférence à toutes les prédictions futures.

Formule
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)

Pièges courants

  • Calibrer sur les mêmes données utilisées pour l'entraînement conduit au surapprentissage et à une ECE spuriousement faible sur l'ensemble d'entraînement.
  • Utiliser des probabilités calées comme s'il s'agissait d'estimations d'incertitude confond les incertitudes aléatoires et épistémiques.
  • Rapporter uniquement l'ECE peut masquer un mauvais calage dans les queues ; visualisez toujours le diagramme de fiabilité à côté de la métrique scalaire.
  • Appliquer un modèle calé à une distribution de déploiement décalée invalide le calage et peut produire une confiance trompeuse.

Questions fréquentes

Le calage affecte-t-il la précision de classification ?

La mise à l'échelle par température ne modifie pas l'ordre des rangs des probabilités de classe, donc la précision de premier rang est inchangée. D'autres méthodes de calage telles que la régression isotonique peuvent dans de rares cas altérer la prédiction argmax, mais leur objectif principal est la précision des probabilités plutôt que la précision de classification, et tout impact sur la précision est généralement négligeable.

Comment savoir si mon modèle a besoin d'un calage ?

Tracez un diagramme de fiabilité : regroupez les prédictions par intervalle de confiance et tracez la confiance moyenne par rapport à la précision empirique. Un modèle parfaitement calé suit la diagonale. Une courbe constamment au-dessus de la diagonale signale une surconfiance ; une en dessous signale une sous-confiance. Calculez l'ECE comme une statistique récapitulative unique ; des valeurs supérieures à environ 0,05 sont couramment considérées comme un mauvais calage non trivial en pratique.

Quand dois-je utiliser la régression isotonique au lieu de la mise à l'échelle par température ?

La régression isotonique est une fonction monotone non paramétrique et peut capturer un mauvais calage complexe et non uniforme sur toute la plage de probabilité. Préférez-la lorsque le diagramme de fiabilité montre un motif non monotone ou irrégulier. Cependant, la régression isotonique nécessite plus de données pour être ajustée de manière fiable, et la mise à l'échelle par température est généralement préférée lorsque l'ensemble de calage est petit ou lorsque la simplicité et l'interprétabilité sont prioritaires.

Méthodes associées

Sources

  1. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.

    Ouvrir la référence de la publication
    Copié.