Skip to content
Retour aux résultats

Processus Gaussien Bayésien

Introduite par
O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
Année
1978–2006
Type
Probabilistic kernel model
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Un Processus Gaussien (PG) Bayésien place une distribution de probabilité directement sur les fonctions, en utilisant un noyau pour encoder la similarité entre les entrées.

Après observation des données, la règle de Bayes convertit ce prior en un posterior qui fournit non seulement des prédictions ponctuelles mais aussi des estimations d'incertitude calibrées à chaque nouvelle entrée — ce qui en fait l'un des modèles probabilistes les plus principiels en apprentissage automatique.

L’intuition derrière la méthode

Imaginez tracer une infinité de courbes plausibles à travers vos données, chacune cohérente avec ce que vous savez. Un PG quantifie la probabilité de chaque courbe avant et après avoir vu les observations. Le noyau détermine quelles courbes apparaissent lisses ou ondulées, proches ou lointaines. Une fois les données arrivées, le PG resserre la famille des courbes plausibles autour des observations tout en conservant une incertitude honnête là où les données sont rares. Cela donne à la fois une prédiction et une bande de confiance qui reflète réellement le degré de preuve soutenant la prévision.

Histoire

L'utilisation des processus gaussiens en statistiques remonte à O'Hagan (1978) et au Krigeage en géostatistique (Matheron, 1963). Leur adoption en apprentissage automatique a été catalysée par Neal (1996), qui a montré que les réseaux profonds convergent vers les PG à la limite d'une largeur infinie, et par le livre de Rasmussen et Williams en 2006, devenu la référence standard. Aujourd'hui, les PG sous-tendent les pipelines d'optimisation Bayésienne dans le réglage des hyperparamètres et la conception expérimentale dans l'ingénierie et la science.

Quand l’utiliser

Utilisez un PG Bayésien lorsque vous avez besoin d'une incertitude calibrée aux côtés des prédictions — par exemple dans l'apprentissage actif, l'optimisation Bayésienne, les applications critiques pour la sécurité, ou l'inférence scientifique où savoir ce que le modèle ne sait pas est aussi important que la prédiction elle-même. Il excelle sur des jeux de données de petite à moyenne taille (jusqu'à quelques milliers d'observations) avec des entrées continues ou structurées et des fonctions sous-jacentes lisses. Évitez les PG lorsque le jeu de données dépasse environ 10 000 lignes sans méthodes de PG parcimonieuses ou approximatives, lorsque l'espace d'entrée est de haute dimension (au-dessus d'environ 20 caractéristiques) sans structure a priori forte, ou lorsqu'un prédicteur ponctuel rapide et opaque est tout ce qui est nécessaire.

Limites et points d’attention

  • Le coût computationnel cubique O(n^3) en inférence exacte limite l'utilisation à des jeux de données de quelques milliers d'observations sans approximations parcimonieuses.
  • Le choix du noyau est influent et nécessite une expertise du domaine ; un noyau mal spécifié dégrade à la fois les prédictions et les estimations d'incertitude.
  • L'inférence en forme fermée échoue pour les vraisemblances non Gaussiennes (classification, comptages), nécessitant des approximations qui ajoutent de la complexité.
  • Évolue mal vers des espaces d'entrée de haute dimension sans réduction de dimensionnalité ou noyaux structurés.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Produit des distributions prédictives entièrement calibrées, pas seulement des estimations ponctuelles.
  • Posterior en forme fermée pour la régression — exact, aucun échantillonnage requis pour des données modérées.
  • La sélection du noyau encode une riche connaissance du domaine sur la régularité, la périodicité et la structure.
  • La log-vraisemblance marginale fournit un apprentissage automatique des hyperparamètres et une comparaison de modèles.
  • Supporte naturellement l'apprentissage actif et l'optimisation Bayésienne en quantifiant où l'incertitude est la plus élevée.
  • Efficace en termes d'échantillons : performant sur de petits jeux de données où l'apprentissage profond ne peut pas généraliser.

Applications

  • Optimisation Bayésienne pour le réglage des hyperparamètres, la conception expérimentale et l'AutoML.
  • Modélisation de substitution dans les simulations d'ingénierie et les expériences informatiques.
  • Interpolation spatiale et géostatistique (Krigeage).
  • Prévision de séries temporelles avec quantification d'incertitude principielle.
  • Apprentissage actif : sélection de la prochaine observation la plus informative basée sur la variance postérieure.
  • Inférence scientifique où la propagation de l'incertitude est requise aux côtés de la prédiction.

Comment ça marche

Comment ça marche

1

Un prior de PG est défini par une fonction de moyenne m(x) — souvent fixée à zéro — et une fonction de covariance (noyau) k(x,x') qui encode comment les sorties à deux entrées co-varient. Ensemble, elles spécifient une distribution sur toutes les fonctions, à partir de laquelle le modèle échantillonne des solutions candidates avant que toute donnée ne soit vue.

Formule
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))
2

Le noyau est le choix de modélisation central. Les noyaux courants incluent les noyaux exponentiel carré (RBF), Matern, périodique et linéaire, chacun encodant différentes hypothèses sur la régularité, la périodicité ou la tendance. La connaissance du domaine est utilisée pour sélectionner ou composer des noyaux qui correspondent au comportement attendu de la fonction cible.

3

Étant donné les observations d'entraînement (X, y), la règle de Bayes est appliquée sous forme fermée pour la régression afin d'obtenir le PG postérieur. La moyenne postérieure fournit la prédiction ponctuelle à toute nouvelle entrée x*, tandis que la variance postérieure quantifie l'incertitude restante — se rétrécissant près des observations et s'élargissant dans les régions inexplorées.

Formule
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})
4

Les hyperparamètres du noyau (échelles de longueur, variance de sortie, niveau de bruit) sont appris en maximisant la log-vraisemblance marginale, qui équilibre automatiquement l'ajustement aux données par rapport à la complexité du modèle. Ce rasoir d'Occam intégré évite la validation croisée séparée pour la sélection des hyperparamètres dans de nombreux contextes.

Formule
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})
5

La distribution prédictive finale à un nouveau point est Gaussienne pour la régression, retournant une moyenne et une variance. Pour la classification, une étape d'approximation supplémentaire (Laplace, propagation d'attentes, ou inférence variationnelle) convertit le PG latent en probabilités de classe.

Pièges courants

  • Utiliser un noyau RBF par défaut sans considérer si les données sont réellement lisses et stationnaires.
  • Ignorer la variance prédictive postérieure et ne rapporter que la moyenne, en écartant l'avantage principal du modèle.
  • Appliquer l'inférence PG exacte à de grands jeux de données (n > 10 000) sans approximations parcimonieuses ou par points d'induction, provoquant des échecs de mémoire et de vitesse.
  • Confondre l'optimisation des hyperparamètres du PG (vraisemblance marginale) avec l'inférence Bayésienne complète sur les hyperparamètres — cette dernière nécessite du MCMC et est rarement effectuée en pratique.
  • Traiter les sorties de PG de classification comme si le posterior latent était exact, sans tenir compte de l'erreur d'approximation dans les vraisemblances non Gaussiennes.

Questions fréquentes

Un processus Gaussien est-il intrinsèquement Bayésien ?

Oui. Un PG définit un prior sur les fonctions, et le conditionnement sur les données donne un posterior via la règle de Bayes. La distribution prédictive est la marginalisation de toutes les fonctions plausibles pondérées par leur probabilité postérieure, ce qui est la propriété définissant l'inférence Bayésienne.

Comment choisir le noyau ?

Commencez par vous demander si la fonction est censée être lisse (RBF/exponentiel carré), périodique (noyau périodique), ou irrégulière par morceaux (Matern 3/2 ou 5/2). Les noyaux peuvent être combinés additivement ou multiplicativement pour capturer une structure composite. Validez les choix en utilisant la log-vraisemblance marginale.

Puis-je utiliser un PG sur des milliers de points de données ?

L'inférence PG exacte a un coût O(n^3), ce qui est réalisable jusqu'à quelques milliers de points sur du matériel moderne. Pour des jeux de données plus importants, utilisez des approximations de PG parcimonieuses (méthodes par points d'induction comme FITC ou VFE) ou des PG variationnels stochastiques, qui s'étendent à des millions d'observations.

Quelle est la différence entre la régression PG et la classification PG ?

La régression PG utilise une vraisemblance Gaussienne, donc le posterior est aussi Gaussien et peut être calculé en forme fermée. La classification PG utilise une vraisemblance de Bernoulli (ou softmax), qui n'est pas Gaussienne, donc le posterior doit être approximé — couramment avec une approximation de Laplace ou une propagation d'attentes.

Comment un PG se compare-t-il à un réseau neuronal ?

Les PG sont mieux adaptés aux petites données, fournissent une incertitude calibrée dès le départ, et sont interprétables à travers le noyau. Les réseaux neuronaux dominent sur les données volumineuses et de haute dimension. Les réseaux neuronaux de largeur infinie avec certaines activations sont mathématiquement équivalents aux PG, révélant une connexion théorique profonde entre les deux.

Méthodes associées

Sources

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN : 978-0-262-18253-9
    Copié.
  2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.

    ISBN : 978-0-387-31073-2
    Copié.