Empilement semi-supervisé
- Introduite par
- Combines Wolpert (1992) stacking with semi-supervised learning principles
- Année
- 2000s–2010s
- Type
- Ensemble (stacked generalization with unlabeled data augmentation)
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'empilement semi-supervisé étend le cadre classique de la généralisation empilée aux situations où seule une fraction des exemples d'entraînement porte des étiquettes.
Les apprenants de base sont d'abord entraînés sur des données étiquetées, puis utilisés pour attribuer des pseudo-étiquettes à des exemples non étiquetés ; le jeu de données élargi entraîne des modèles de base plus robustes dont les prédictions hors-pli forment l'entrée d'un méta-apprenant, produisant un ensemble à deux niveaux qui exploite la structure étiquetée et non étiquetée.
L’intuition derrière la méthode
L'empilement surpasse déjà les modèles individuels en entraînant un méta-apprenant sur les prédictions de divers apprenants de base. L'empilement semi-supervisé ajoute une astuce supplémentaire : au lieu de rejeter le grand ensemble d'exemples non étiquetés, il utilise les apprenants de base actuels pour deviner leurs étiquettes avec un certain seuil de confiance, réintègre ces exemples pseudo-étiquetés dans l'entraînement, réentraîne les apprenants de base, et répète. Chaque itération fournit plus de données aux apprenants de base pour apprendre, de sorte que les méta-caractéristiques qu'ils produisent pour le méta-apprenant deviennent progressivement plus informatives — le tout sans nécessiter d'annotation humaine supplémentaire.
Histoire
La généralisation empilée a été formalisée par Wolpert en 1992 comme un moyen de combiner plusieurs modèles via un méta-apprenant appris. Les principes de l'apprentissage semi-supervisé — utiliser des données non étiquetées pour améliorer les modèles supervisés — ont été consolidés par Chapelle, Schölkopf et Zien dans leur volume de 2006 de MIT Press. La combinaison explicite des deux, l'empilement semi-supervisé, a émergé dans la littérature de l'apprentissage automatique appliqué au cours des années 2000 et 2010, avec une adoption particulière dans les compétitions d'apprentissage automatique et les domaines où l'annotation est rare.
Quand l’utiliser
Utilisez l'empilement semi-supervisé lorsque vous avez une tâche de classification ou de régression avec un petit jeu de données étiquetées et un grand ensemble d'exemples non étiquetés — un scénario courant en imagerie médicale, en NLP ou en télédétection où l'annotation est coûteuse. Il est particulièrement efficace lorsque les données non étiquetées proviennent de la même distribution que les données étiquetées et lorsque au moins 3 à 5 familles d'apprenants de base diversifiés sont disponibles. Évitez-le lorsque l'ensemble non étiqueté est petit (n'offrant aucun avantage par rapport à l'empilement standard), lorsque l'ensemble étiqueté est déjà suffisamment grand pour que les gains semi-supervisés soient marginaux, ou lorsque un décalage de distribution entre les exemples étiquetés et non étiquetés est suspecté, car les erreurs de pseudo-étiquetage se multiplieront au fil des itérations.
Limites et points d’attention
- Les erreurs de pseudo-étiquetage s'accumulent au fil des itérations ; si les apprenants de base initiaux sont faibles, des pseudo-étiquettes erronées peuvent dégrader plutôt qu'améliorer les performances.
- La surface des hyperparamètres est large : le nombre d'itérations, le seuil de confiance, le nombre de plis et la diversité des apprenants de base interagissent tous.
- Coûteux en calcul : le réentraînement k-pli sur plusieurs apprenants de base est répété sur plusieurs itérations, donc le temps d'exécution augmente rapidement.
- Nécessite que la distribution non étiquetée corresponde étroitement à la distribution étiquetée ; un décalage de covariable invalide l'hypothèse de pseudo-étiquetage.
- L'interprétabilité est faible — deux niveaux empilés plus le pseudo-étiquetage itératif rendent difficile la traçabilité de la formation de toute prédiction individuelle.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Exploite de grands ensembles de données non étiquetées sans coût d'annotation supplémentaire, améliorant souvent considérablement la précision par rapport à l'empilement uniquement supervisé.
- Hérite de tous les avantages de l'empilement classique : la diversité entre les apprenants de base réduit simultanément la variance et le biais.
- Flexible : tout apprenant supervisé peut servir de modèle de base ou de méta-apprenant, rendant le cadre largement applicable.
- Le seuillage de confiance fournit un mécanisme principiel pour contrôler la qualité des pseudo-étiquettes introduites à chaque itération.
- Bonne scalabilité — les données non étiquetées sont peu coûteuses, donc la méthode devient plus précieuse à mesure que le rapport exemples non étiquetés/étiquetés augmente.
Applications
- Classification d'images médicales où les scans annotés sont rares mais les scans non annotés sont abondants.
- Tâches de traitement du langage naturel (sentiment, sujet) avec de grands corpus non étiquetés et de petits ensembles d'entraînement étiquetés.
- Classification de couverture terrestre en télédétection utilisant une imagerie satellite abondante avec peu d'étiquettes de vérité terrain.
- Détection de fraude où les cas de fraude confirmés sont rares par rapport aux transactions non examinées.
- Tâches de bioinformatique telles que la prédiction de fonction protéique avec des exemples vérifiés expérimentalement limités.
Comment ça marche
Comment ça marche
Les apprenants de base (par exemple, arbres à gradient boosté, SVM, réseaux neuronaux) sont entraînés sur le sous-ensemble étiqueté. Ils prédisent ensuite les probabilités de classe pour chaque exemple non étiqueté ; les exemples dont la probabilité de classe maximale dépasse un seuil de confiance se voient attribuer des pseudo-étiquettes et sont ajoutés à l'ensemble d'entraînement actif pour la prochaine itération.
Des apprenants de base diversifiés sont (ré)entraînés sur l'ensemble combiné d'exemples réellement étiquetés et pseudo-étiquetés en utilisant la validation croisée k-pli pour éviter les fuites de données. La diversité entre les apprenants de base — dans la famille d'algorithmes, la force de régularisation ou les sous-ensembles de caractéristiques — est essentielle ; les piles homogènes gagnent peu du second niveau.
Les prédictions hors-pli de chaque apprenant de base sur les exemples étiquetés sont collectées dans une matrice de méta-caractéristiques. Chaque ligne correspond à un exemple d'entraînement étiqueté ; chaque colonne est la prédiction d'un apprenant de base estimée sur un pli qui n'a pas vu cet exemple, préservant une représentation non biaisée pour le méta-apprenant.
Un méta-apprenant (communément une régression logistique, un réseau neuronal peu profond, ou un autre modèle arborescent) est entraîné sur la matrice de méta-caractéristiques avec les étiquettes réelles. Il apprend à combiner au mieux les sorties des apprenants de base, en corrigeant leurs biais systématiques et en exploitant leurs forces complémentaires.
Les étapes 1 à 4 sont répétées pour un nombre fixe d'itérations ou jusqu'à ce que l'ensemble des pseudo-étiquettes se stabilise (peu de nouveaux exemples franchissent le seuil de confiance). À chaque passage, le seuil de confiance peut être légèrement assoupli pour incorporer plus de données non étiquetées, mais la prudence est de mise : un seuil trop bas propage des pseudo-étiquettes erronées et dégrade les performances.
Pièges courants
- Définir le seuil de confiance trop bas lors des premières itérations, inondant l'ensemble d'entraînement avec des pseudo-étiquettes bruitées qui dégradent la qualité des apprenants de base.
- Utiliser un ou deux apprenants de base très corrélés ; sans diversité, le méta-apprenant reçoit des signaux redondants et la pile ne surpasse pas un modèle unique.
- Ne pas utiliser la validation croisée lors de la génération des méta-caractéristiques, provoquant des fuites de données qui gonflent la précision d'entraînement et induisent en erreur l'entraînement du méta-apprenant.
- Évaluer la performance finale sur des exemples pseudo-étiquetés au lieu d'un ensemble de test réellement étiqueté et mis de côté, produisant des métriques trop optimistes.
- Ignorer la convergence — effectuer trop d'itérations après la stabilisation de l'ensemble des pseudo-étiquettes gaspille des ressources de calcul et risque le surajustement sur des prédictions confiantes mais erronées.
Questions fréquentes
Comment choisir le seuil de confiance pour le pseudo-étiquetage ?
Un point de départ courant est de 0,9 ou plus pour la classification, ce qui signifie que seuls les exemples dont la probabilité de classe principale dépasse 90 % reçoivent une pseudo-étiquette. Le seuil peut être assoupli dans les itérations ultérieures à mesure que les apprenants de base s'améliorent. Surveillez toujours la précision de validation à travers les itérations pour détecter les valeurs de seuil qui introduisent trop de bruit.
Quels apprenants de base dois-je utiliser ?
La diversité est le principe clé. Une combinaison typique associe des arbres à gradient boosté (par exemple, XGBoost), un SVM avec un noyau radial et un réseau neuronal. La combinaison de modèles qui diffèrent par leur profil biais-variance et par les relations de caractéristiques qu'ils capturent produit les méta-caractéristiques les plus informatives pour le second niveau.
Quelle est la différence avec l'empilement standard ?
L'empilement standard utilise uniquement des données étiquetées tout au long du processus. L'empilement semi-supervisé ajoute une boucle de pseudo-étiquetage qui étend itérativement l'ensemble d'entraînement effectif avec des exemples non étiquetés de haute confiance, il est donc plus utile lorsque les données étiquetées sont rares et les données non étiquetées abondantes.
Peut-il gérer la régression aussi bien que la classification ?
Oui. Pour la régression, le seuillage de confiance est remplacé par un critère basé sur les résidus — par exemple, inclure des exemples pseudo-étiquetés dont la valeur prédite est stable (faible variance) à travers les apprenants de base. Le méta-apprenant combine ensuite des sorties continues plutôt que des probabilités de classe.
Quel est le risque d'erreurs de propagation d'étiquettes ?
Si les apprenants de base initiaux sont inexacts, leurs prédictions confiantes peuvent toujours être fausses, et ces erreurs sont renforcées dans les itérations suivantes. L'utilisation d'un seuil de confiance initial élevé, la surveillance d'un ensemble de validation étiqueté mis de côté à travers les itérations, et l'arrêt lorsque la performance de validation cesse de s'améliorer sont les principales défenses.
Méthodes associées
Sources
Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.
Ouvrir la référence DOICopié.Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN : 978-0-262-03358-9Copié.