Processus Gaussien
- Introduite par
- Rasmussen, C. E. & Williams, C. K. I.
- Année
- 2006 (book); roots in Kriging, 1951)
- Type
- Probabilistic non-parametric model
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Un processus Gaussien (GP) est un modèle d'apprentissage automatique non paramétrique, entièrement probabiliste, qui place une distribution a priori directement sur les fonctions.
Plutôt que de prédire une valeur unique, il renvoie une moyenne prédictive et une estimation de l'incertitude calibrée à chaque point de test, ce qui le rend particulièrement précieux pour la régression sur des jeux de données de petite à moyenne taille et pour les tâches d'optimisation bayésienne.
L’intuition derrière la méthode
Au lieu d'ajuster une courbe fixe à vos données, un processus Gaussien maintient une distribution entière sur les courbes possibles qui sont cohérentes avec ce que vous avez observé. Avant de voir les données, il suppose que les fonctions doivent être lisses (telles que définies par un noyau). Après avoir vu les données, il resserre cette distribution : les points de test voisins reçoivent des prédictions précises et confiantes, tandis que les régions distantes ou peu denses en données produisent de larges bandes d'incertitude. Cette quantification intrinsèque de l'incertitude distingue les GP de la plupart des autres modèles.
Histoire
Les processus Gaussiens trouvent leurs origines dans le Krigeage, développé par Danie Krige en géostatistique dans les années 1950 et formalisé par Georges Matheron. Leur adoption en apprentissage automatique a été largement motivée par Carl Rasmussen et Christopher Williams, dont le livre de 2006 publié par MIT Press est devenu la référence définitive, établissant le GP comme une alternative non paramétrique bayésienne principielle aux réseaux neuronaux et aux SVM à noyau, particulièrement pour les contextes où la quantification de l'incertitude est essentielle.
Quand l’utiliser
Les processus Gaussiens excellent sur les jeux de données de petite à moyenne taille (jusqu'à quelques milliers de lignes) où la quantification de l'incertitude est importante — par exemple, pour les expériences scientifiques, la conception d'ingénierie ou la modélisation de substitution pour des simulations coûteuses. Ils constituent la méthode de choix pour l'optimisation bayésienne. Préférez un GP aux modèles plus simples lorsque vous avez besoin d'intervalles de prédiction calibrés plutôt que de simples estimations ponctuelles, et lorsque la relation entre les entrées et les sorties est censée être lisse. Évitez les GP lorsque n dépasse environ 10 000 observations, car l'inférence exacte évolue en O(n^3), ce qui la rend prohibitive sur le plan calculatoire sans approximations. Les GP ont également du mal avec les espaces d'entrée de très haute dimension et avec les fonctions discontinues ou très non stationnaires, à moins que des noyaux soigneusement adaptés ne soient utilisés.
Limites et points d’attention
- L'inférence exacte est en O(n^3) en temps et O(n^2) en mémoire, ce qui la rend impraticable pour de grands n sans méthodes de GP parcimonieuses ou approximatives.
- Les performances se dégradent dans les espaces d'entrée de très haute dimension en raison de la malédiction de la dimensionnalité dans les distances du noyau.
- Le choix et la combinaison des noyaux nécessitent une connaissance du domaine ; un noyau mal choisi conduit à une mauvaise calibration de l'incertitude.
- La classification (classificateurs GP) nécessite une approximation supplémentaire par Laplace ou par propagation de l'espérance, ce qui ajoute de la complexité.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Renvoie des intervalles d'incertitude prédictifs calibrés aux côtés des prédictions ponctuelles.
- Extrêmement efficace en termes d'échantillons — performant sur de petits jeux de données où les modèles basés sur des arbres sur-ajustent.
- Le choix du noyau encode de manière flexible la connaissance du domaine concernant la régularité, la périodicité ou l'échelle.
- Les hyperparamètres sont appris à partir des données via la vraisemblance marginale, fournissant une régularisation automatique.
- Cadre natif pour l'optimisation bayésienne et la conception expérimentale d'apprentissage actif.
Applications
- Régression sur des jeux de données scientifiques et d'ingénierie de petite à moyenne taille nécessitant des intervalles de confiance calibrés.
- Optimisation bayésienne de fonctions coûteuses en boîte noire telles que le réglage des hyperparamètres ou la conception expérimentale.
- Modélisation de substitution pour des simulations informatiques coûteuses dans les domaines de l'aérospatiale, de la science des matériaux et de la modélisation climatique.
- Interpolation spatio-temporelle et cartographie géostatistique (Krigeage).
- Apprentissage actif : utilisation de la variance a posteriori pour sélectionner la mesure la plus informative suivante.
- Modélisation de séries temporelles avec des noyaux périodiques ou composites encodant la structure saisonnière.
Comment ça marche
Comment ça marche
Une fonction noyau (communément exponentielle carrée / RBF) encode les croyances a priori sur la régularité et l'échelle de longueur de la fonction. Elle mesure la similarité entre deux points d'entrée : des entrées similaires devraient produire des sorties similaires. Le choix de la forme du noyau régit fortement les types de fonctions que le GP peut représenter.
Formule
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)Avant que des données ne soient observées, le GP définit une distribution a priori sur les fonctions : toute collection finie de valeurs de fonction est conjointement Gaussienne avec une fonction moyenne m(x) et une covariance donnée par le noyau. Cette a priori représente la croyance initiale sur le comportement de la fonction inconnue.
Formule
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))Le conditionnement de l'a priori sur les données d'entraînement observées donne la distribution a posteriori, également Gaussienne. La moyenne a posteriori devient la prédiction ponctuelle à toute nouvelle entrée x*, et la variance a posteriori fournit un intervalle de confiance calibré, se resserrant automatiquement là où les données d'entraînement sont denses.
Formule
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)Les hyperparamètres du noyau (échelle de longueur, variance de sortie, niveau de bruit) sont estimés en maximisant la vraisemblance marginale logarithmique des données d'entraînement. Cette optimisation équilibre l'ajustement aux données par rapport à la complexité du modèle, effectuant une régularisation automatique sans terme de pénalité séparé.
Formule
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})Au moment de la prédiction, la moyenne a posteriori est renvoyée comme estimation ponctuelle et l'écart type a posteriori comme bande d'incertitude. Les deux peuvent être utilisés directement : rapportez la moyenne pour la meilleure estimation et l'intervalle pour communiquer le degré de confiance du modèle à chaque nouvelle position d'entrée.
Pièges courants
- Utiliser le noyau RBF par défaut sans vérifier si la fonction est réellement stationnaire et lisse — les motifs périodiques ou discontinus nécessitent des noyaux différents.
- Oublier de standardiser les entrées et sorties continues avant l'ajustement, ce qui conduit à des matrices de covariance mal conditionnées.
- Traiter la moyenne a posteriori seule comme le résultat et ignorer les bandes d'incertitude, qui sont la contribution principale du modèle.
- Appliquer un GP exact à des jeux de données avec n supérieur à ~5 000 sans passer à une approximation parcimonieuse ou à points induits.
- Confondre le bruit aléatoire (erreur de mesure irréductible) avec l'incertitude épistémique (incertitude du modèle) lors de l'interprétation de la sortie de variance.
Questions fréquentes
Quel noyau devrais-je utiliser pour commencer ?
Le noyau exponentiel carré (RBF) est le point de départ par défaut car il produit des fonctions infiniment différentiables et lisses et possède des hyperparamètres d'échelle de longueur et de variance de sortie interprétables. Passez à un noyau Matern si vous vous attendez à ce que la fonction soit moins lisse, ou ajoutez un composant périodique pour les données saisonnières.
Mon jeu de données contient 50 000 lignes. Puis-je toujours utiliser un GP ?
L'inférence exacte par GP serait prohibitive à cette échelle. Envisagez des méthodes de GP parcimonieuses (par exemple, points induits / FITC) ou des GP variationnels stochastiques, qui réduisent tous deux le coût d'entraînement à environ O(nm^2) où m est le nombre de points induits (m << n). Des bibliothèques comme GPyTorch les implémentent efficacement.
Quelle est la différence entre un GP et une régression linéaire bayésienne ?
La régression linéaire bayésienne place une distribution a priori sur un ensemble fini et fixe de coefficients ; la flexibilité du modèle est donc limitée par les fonctions de base choisies. Un GP place une distribution a priori directement sur des fonctions dans un espace de dimension infinie, de sorte que sa complexité effective s'adapte aux données sans nécessiter de spécifier au préalable des expansions de base.
Les estimations d'incertitude sont-elles vraiment calibrées ?
Sous le modèle et le noyau corrects, les incertitudes a posteriori des GP sont bien calibrées par construction. En pratique, la mauvaise calibration provient d'une spécification incorrecte du noyau ou de l'ignorance de la structure du bruit. Effectuez toujours une vérification prédictive a posteriori — tracez les valeurs observées par rapport aux valeurs prédites avec la couverture des intervalles crédibles.
Les processus Gaussiens peuvent-ils gérer des entrées catégorielles ou de types mixtes ?
Les noyaux GP standard opèrent sur des entrées continues. Les entrées catégorielles nécessitent des noyaux spéciaux (par exemple, noyau de distance de Hamming) ou un encodage. Pour des données mixtes principalement catégorielles ou de très haute dimension, les modèles basés sur des arbres tels que Random Forest ou le gradient boosting sont généralement un meilleur point de départ.
Méthodes associées
Sources
Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN : 978-0-262-18253-9Copié.Gaussian process. Wikipedia.
Ouvrir la référence de la publicationCopié.