Empilement
- Introduite par
- Wolpert, D.H.
- Année
- 1992
- Type
- Ensemble (heterogeneous meta-learning)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'empilement, ou généralisation empilée (stacked generalization), est une méthode d'ensemble introduite par David Wolpert en 1992 qui combine les sorties de plusieurs modèles de base différents (Niveau-0) via un modèle méta séparé (Niveau-1).
Contrairement au bagging et au boosting, elle utilise délibérément des types de modèles hétérogènes, et constitue la stratégie standard de la dernière étape dans les compétitions Kaggle.
L’intuition derrière la méthode
Différentes familles de modèles font des erreurs différentes : un ensemble d'arbres, une machine à vecteurs de support et un modèle linéaire capturent chacun les données à leur manière. L'empilement traite leurs prédictions comme de nouvelles caractéristiques et entraîne un modèle supplémentaire pour apprendre la meilleure façon de les combiner, de sorte que le modèle méta puisse s'appuyer sur chaque modèle de base là où il est le plus performant et le négliger là où il est faible — produisant une prédiction combinée qui surpasse généralement n'importe quel modèle unique.
Histoire
La généralisation empilée a été introduite par David Wolpert en 1992 comme moyen de combiner plusieurs généraliseurs via un modèle de niveau supérieur. L'idée a ensuite été formalisée et dotée d'une solide base théorique par van der Laan, Polley et Hubbard en 2007 sous le nom de Super Learner, qui utilise la validation croisée pour combiner une bibliothèque d'apprenants de base. L'empilement est depuis devenu la stratégie standard de la dernière étape dans les compétitions d'apprentissage automatique, où les ensembles de modèles hétérogènes dominent régulièrement les classements.
Quand l’utiliser
Utilisez l'empilement lorsque la précision prédictive est la priorité et que vous disposez de plusieurs modèles de base raisonnablement performants et diversifiés à combiner, sur des données transversales avec des caractéristiques continues, catégorielles ou binaires et au moins environ 100 observations. Il ne nécessite pas de données normalement distribuées. En dessous d'environ 100 observations, la validation croisée k-fold ne peut pas générer suffisamment de prédictions fiables de Niveau-0 et le modèle méta surapprend, donc un modèle unique et réglé comme une forêt aléatoire ou XGBoost est plus sûr.
Limites et points d’attention
- Nécessite un échantillon assez large (environ 100+) afin que la validation croisée k-fold puisse générer des prédictions fiables de Niveau-0.
- Les gains diminuent lorsque les modèles de base sont fortement corrélés plutôt que diversifiés.
- Plus complexe et gourmand en calcul qu'un modèle unique, et plus difficile à interpréter dans son ensemble.
- Sur de petits échantillons, la diversité des modèles de base ne peut être atteinte et un modèle unique suffit généralement.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Atteint souvent la plus haute précision prédictive en exploitant des modèles de base hétérogènes qui font des erreurs différentes.
- Flexible : tout mélange de familles de modèles peut servir d'apprenants de base, avec un simple modèle méta au-dessus.
- Peu d'hypothèses — aucune exigence de normalité, et il gère les caractéristiques continues, catégorielles et binaires.
- La stratégie éprouvée de la dernière étape dans les contextes de prédiction compétitive tels que Kaggle.
Applications
- Ensemble de la dernière étape dans les compétitions de modélisation prédictive telles que Kaggle.
- Combinaison de modèles hétérogènes pour une classification et une prédiction de haute précision.
- Ensembles Super Learner en biostatistique et épidémiologie.
- Fusion de modèles performants mais diversifiés lorsque l'obtention d'une précision supplémentaire est primordiale.
Comment ça marche
Comment ça marche
Un ensemble diversifié d'apprenants de base (Niveau-0) est entraîné sur les données — par exemple une forêt aléatoire, un modèle de gradient boosting et une SVM. Plus ces modèles sont variés et mutuellement indépendants, plus l'empilement peut être bénéfique ; lorsque les modèles de base sont fortement corrélés entre eux, le gain de l'empilement diminue.
Les prédictions de Niveau-0 sont produites par validation croisée k-fold plutôt que sur les mêmes données sur lesquelles les modèles de base ont été ajustés. Ce schéma hors-échantillon (out-of-fold) est essentiel pour prévenir la fuite de données : les méta-caractéristiques de chaque observation proviennent de modèles qui ne l'ont pas vue pendant l'entraînement.
Un modèle méta (Niveau-1) est entraîné sur les sorties des modèles de base validées croisée pour produire la prédiction finale. L'appreneur méta est généralement maintenu simple — régression logistique, régression ridge ou un petit XGBoost — afin qu'il apprenne des poids judicieux pour combiner les modèles de base sans lui-même surapprendre.
Formule
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)Pièges courants
- Générer des prédictions de Niveau-0 sur les mêmes données sur lesquelles les modèles de base ont été entraînés, provoquant une fuite de données vers le modèle méta.
- Empiler de nombreux modèles de base fortement corrélés et s'attendre à un gain important.
- Utiliser un modèle méta trop complexe qui surapprend les sorties des modèles de base au lieu d'un simple régresseur.
- Appliquer l'empilement à un petit jeu de données où la diversité des modèles de base et la validation croisée fiable sont impossibles.
Questions fréquentes
En quoi l'empilement diffère-t-il du bagging et du boosting ?
Le bagging et le boosting construisent de nombreux modèles du même type, tandis que l'empilement combine délibérément des familles de modèles hétérogènes et apprend à les fusionner avec un modèle méta séparé. C'est cette diversité qui confère à l'empilement son avantage.
Pourquoi utiliser la validation croisée pour construire les méta-caractéristiques ?
Si le modèle méta est entraîné sur des prédictions que les modèles de base ont faites sur leurs propres données d'entraînement, une fuite d'informations se produit et l'empilement surapprend. La production de prédictions de Niveau-0 hors-échantillon via la validation croisée k-fold donne au modèle méta des entrées honnêtes.
Quel devrait être le modèle méta ?
Gardez-le simple — régression logistique, régression ridge ou un petit XGBoost. Un apprenant méta simple apprend des poids de fusion judicieux sans surapprendre les sorties des modèles de base.
Quand ne pas utiliser l'empilement ?
Lorsque vous avez moins d'environ 100 observations, la validation croisée ne peut pas produire suffisamment de prédictions fiables de Niveau-0 et la diversité des modèles de base est difficile à atteindre, donc un modèle unique réglé comme une forêt aléatoire ou XGBoost est le choix le plus sûr.
Méthodes associées
Sources
Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.
Ouvrir la référence DOICopié.van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.
Ouvrir la référence DOICopié.