Skip to content
Retour aux résultats

Prédiction conforme

Introduite par
Vovk, Gammerman & Shafer
Année
2005
Type
Distribution-free uncertainty quantification framework
Famille
Trustworthy ML

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La prédiction conforme est un cadre sans distribution pour construire des ensembles de prédiction statistiquement valides (pour la classification) ou des intervalles de prédiction (pour la régression) autour de la sortie de tout modèle d'apprentissage automatique pré-entraîné.

Introduite par Vovk, Gammerman et Shafer dans leur monographie de 2005, elle fournit une garantie de couverture marginale en échantillon fini — l'étiquette vraie tombe à l'intérieur de l'ensemble de prédiction avec une probabilité d'au moins 1-alpha — sans nécessiter d'hypothèses paramétriques sur la distribution des données.

L’intuition derrière la méthode

Imaginez une station météorologique qui, au lieu de dire 'demain il fera 22°C', dit 'demain il fera entre 19°C et 25°C, et nous garantissons que cet intervalle est correct au moins 90% des jours sur le long terme.' La prédiction conforme fonctionne de manière similaire : elle enveloppe la prédiction ponctuelle de tout modèle existant avec une marge de sécurité pilotée par les données, calibrée sur des exemples mis de côté, de sorte que l'ensemble résultant est prouvablement fiable sous des hypothèses très légères sur la manière dont les données ont été collectées.

Histoire

La prédiction conforme a été formalisée par Vladimir Vovk, Alexander Gammerman et Glenn Shafer dans leur monographie Springer de 2005, s'appuyant sur des idées antérieures d'apprentissage transductif en ligne de la fin des années 1990. La variante inductive (split-conformal), qui sépare l'entraînement de la calibration, a été popularisée plus tard pour rendre la méthode évolutive. Les années 2020 ont vu une adoption rapide dans l'apprentissage profond, avec des extensions incluant la prédiction conforme mondrienne pour des garanties conditionnelles, des ensembles de prédiction contrôlant le risque, et le contrôle du risque conforme.

Quand l’utiliser

Utilisez la prédiction conforme lorsque vous avez besoin de garanties de couverture rigoureuses en échantillon fini sur la sortie d'incertitude d'un modèle, sans hypothèses distributionnelles. Elle est appropriée pour les tâches de classification et de régression où des données de calibration issues de la même distribution que les données de test sont disponibles. Les limitations incluent l'hypothèse d'échangeabilité (violée en cas de décalage de covariables), et le fait que la couverture est marginale plutôt que conditionnelle, ce qui signifie que certains sous-groupes peuvent être sous- ou sur-couverts. Les alternatives incluent les intervalles de crédibilité bayésiens (nécessitent des hypothèses distributionnelles) et la régression quantile (pas de garantie en échantillon fini sans enveloppe conforme).

Limites et points d’attention

  • La garantie de couverture est marginale (moyennée sur les entrées de test), et non conditionnelle à chaque x individuel.
  • Suppose l'échangeabilité des données de calibration et de test ; les performances se dégradent en cas de décalage de covariables ou d'étiquettes.
  • Les ensembles de prédiction peuvent être inutilement grands lorsque le modèle de base est faible ou que le taux de non-couverture alpha choisi est petit.
  • Les méthodes split-conformal nécessitent un ensemble de calibration dédié, réduisant les données disponibles pour l'entraînement.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Fournit des garanties de couverture marginale en échantillon fini et sans distribution, valides pour tout modèle de base.
  • Agnostique au modèle : enveloppe tout classifieur ou régresseur pré-entraîné sans réentraînement.
  • Léger en termes de calcul au moment de l'inférence — ne nécessite que le stockage des scores de calibration et le calcul d'un quantile.
  • Des scores de non-conformité flexibles permettent une adaptation à diverses tâches, y compris la détection d'objets et la génération de langage naturel.

Applications

  • Diagnostic médical : production d'ensembles de prédiction pour la classification de maladies qui garantissent l'inclusion du vrai diagnostic avec une forte probabilité, soutenant une prise de décision clinique sûre.
  • Découverte de médicaments : génération de régions de confiance fiables pour les prédictions de propriétés moléculaires, aidant les chimistes à prioriser les composés pour des tests coûteux en laboratoire.
  • Conduite autonome : construction de régions d'incertitude garanties en couverture autour des sorties de détection d'objets pour déclencher des comportements de repli sûrs.
  • Traitement du langage naturel : ensembles de prédiction calibrés pour la classification de texte et l'incertitude au niveau des jetons dans les sorties de grands modèles de langage.
  • Évaluation des risques financiers : intervalles de prédiction sans distribution pour les prévisions de rendement qui restent valides sous surveillance réglementaire sans nécessiter de modèles paramétriques.

Comment ça marche

Comment ça marche

1

Un modèle d'apprentissage automatique conventionnel — tout classifieur, régresseur ou réseau neuronal — est entraîné sur une partition d'entraînement dédiée. La prédiction conforme est agnostique à ce modèle ; elle le traite comme une boîte noire. La qualité des ensembles de prédiction finaux est influencée par la précision du modèle de base, mais la garantie de validité tient indépendamment.

Formule
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})
2

Sur une partition de calibration séparée que le modèle de base n'a pas vue, un score de non-conformité est calculé pour chaque exemple. Pour la régression, le score est typiquement le résidu absolu |y - f_hat(x)| ; pour la classification, il peut s'agir de 1 moins la probabilité prédite de la vraie classe. Ces scores mesurent à quel point chaque point de calibration est 'surprenant' par rapport au modèle.

Formule
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}
3

Le quantile empirique (1-alpha) des scores de non-conformité de calibration est calculé avec un facteur de correction en échantillon fini. Ce quantile corrigé q_hat est le seuil qui, par l'échangeabilité des données, assurera que la garantie de couverture est respectée pour un nouveau point de test avec une probabilité d'au moins 1-alpha.

Formule
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)
4

Pour une nouvelle entrée de test x_new, l'ensemble de prédiction contient toutes les étiquettes candidates y dont le score de non-conformité ne dépasse pas q_hat. En régression, cela produit un intervalle [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat] ; en classification, cela produit le sous-ensemble de classes dont la probabilité prédite est suffisamment élevée. L'ensemble est garanti de couvrir l'étiquette vraie avec une probabilité marginale d'au moins 1-alpha.

Formule
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}

Pièges courants

  • Utiliser l'ensemble d'entraînement comme ensemble de calibration gonfle l'optimisme et détruit la garantie de validité — utilisez toujours une partition de calibration mise de côté.
  • Confondre la couverture marginale avec la couverture conditionnelle : la garantie n'implique pas que chaque sous-population est couverte au niveau 1-alpha.
  • Ignorer le décalage de distribution : appliquer un prédicteur conforme calibré sur des données historiques à une distribution de déploiement décalée brise la garantie théorique.
  • Traiter la taille de l'ensemble de prédiction comme une mesure de confiance directe sans reconnaître que la taille de l'ensemble dépend conjointement de la qualité du modèle et de l'alpha choisi.

Questions fréquentes

La prédiction conforme nécessite-t-elle de connaître la distribution des données ?

Non. La garantie de couverture marginale repose uniquement sur l'hypothèse d'échangeabilité — en gros, que les points de calibration et de test sont tirés i.i.d. de la même distribution. Aucune famille paramétrique ne doit être spécifiée, ce qui rend le cadre 'sans distribution'. C'est son principal avantage théorique par rapport aux intervalles de crédibilité bayésiens et aux intervalles de confiance classiques basés sur la normalité.

Comment la taille de l'ensemble de calibration est-elle choisie et comment affecte-t-elle les résultats ?

Un ensemble de calibration plus grand produit une estimation de quantile empirique plus précise et plus stable, résultant en des ensembles de prédiction plus petits. Une règle empirique courante est d'avoir au moins quelques centaines d'exemples de calibration. Avec de très petits ensembles de calibration (moins de 1/alpha points), la correction en échantillon fini force des ensembles de couverture complète, rendant la méthode peu informative. Il existe un compromis biais-variance standard entre la taille de l'ensemble d'entraînement et la taille de l'ensemble de calibration.

La prédiction conforme peut-elle être appliquée aux réseaux neuronaux profonds ?

Oui. Parce que le cadre est agnostique au modèle, il enveloppe tout réseau neuronal sans modification. Le score de non-conformité est typiquement défini en utilisant la sortie softmax du modèle pour la classification ou sa prédiction ponctuelle pour la régression. En termes de calcul, la calibration ne nécessite qu'une seule passe avant sur l'ensemble de calibration, ce qui la rend très pratique pour les grands modèles.

Méthodes associées

Sources

  1. Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.

    ISBN : 978-0-387-00152-4
    Copié.