Skip to content
Retour aux résultats

Gradient Boosting Semi-supervisé

Introduite par
Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
Année
2006–2010s
Type
Semi-supervised ensemble (self-training + gradient boosted trees)
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le gradient boosting semi-supervisé combine des arbres de gradient boosting avec l'auto-apprentissage (self-training) ou le pseudo-étiquetage pour exploiter de vastes ensembles de données non étiquetées aux côtés d'un petit ensemble étiqueté.

Un premier ajustement GBM sur les données étiquetées attribue des prédictions confiantes aux exemples non étiquetés ; ces points pseudo-étiquetés sont réintégrés dans l'entraînement et le modèle est ré-boosté, en itérant jusqu'à convergence. Cela permet aux praticiens d'exploiter les données non étiquetées peu coûteuses lorsque les étiquettes sont rares ou coûteuses.

L’intuition derrière la méthode

Imaginez que vous avez 200 réponses d'enquête étiquetées et 10 000 non étiquetées. Un modèle de gradient boosting entraîné uniquement sur les 200 exemples étiquetés est déjà assez bon. Le gradient boosting semi-supervisé utilise ce modèle pour classer les réponses non étiquetées sur lesquelles il est confiant, les étiquette provisoirement, puis ré-entraîne sur l'ensemble combiné beaucoup plus grand. Le cycle se répète : à chaque tour, le modèle s'améliore car il voit plus d'exemples, et de meilleures prédictions se traduisent par des pseudo-étiquettes de meilleure qualité pour le tour suivant. La majorité non étiquetée agit efficacement comme un régularisateur gratuit et un dispositif d'augmentation de données.

Histoire

L'apprentissage semi-supervisé a été systématisé dans le volume de 2006 de MIT Press par Chapelle, Scholkopf et Zien. La variante auto-apprentissage / pseudo-étiquetage remonte à Yarowsky (1995) en NLP et a été formalisée plus tard par Lee (2013) dans le contexte des réseaux profonds, mais le même principe s'applique directement aux arbres de gradient boosting. CatBoost (Prokhorenkova et al., 2018) a introduit des extensions semi-supervisées intégrées ; des travaux ultérieurs ont exploré les calendriers de pseudo-étiquetage et la calibration de confiance spécifiquement pour les GBM dans des contextes biomédicaux et industriels tout au long des années 2010 et 2020.

Quand l’utiliser

Utilisez le gradient boosting semi-supervisé lorsque les données étiquetées sont rares (par exemple, moins de quelques centaines d'exemples) mais que de grandes quantités de données non étiquetées de la même distribution sont disponibles, et que la collecte d'étiquettes supplémentaires est coûteuse. Il convient bien aux tâches de classification et de régression tabulaires où un modèle de gradient boosting fonctionne déjà décemment sur l'ensemble étiqueté seul. Évitez-le lorsque : les données étiquetées et non étiquetées proviennent de distributions différentes (le décalage de distribution amplifiera l'erreur) ; la précision du modèle de base sur les données étiquetées est très faible (de mauvaises pseudo-étiquettes corrompent le ré-entraînement) ; ou l'ensemble étiqueté est déjà suffisamment grand pour saturer un GBM standard, auquel cas la surcharge semi-supervisée apporte un bénéfice négligeable.

Limites et points d’attention

  • La qualité des pseudo-étiquettes dépend du modèle de base ; un modèle initial faible peut corrompre les itérations suivantes.
  • Suppose que les données étiquetées et non étiquetées sont tirées de la même distribution — violer cela entraîne une amplification des erreurs.
  • Le réglage du seuil (tau) ajoute un hyperparamètre sans valeur par défaut principielle.
  • Le coût computationnel augmente à chaque itération d'auto-apprentissage, en particulier sur de vastes ensembles non étiquetés.
  • La validation doit être effectuée uniquement sur les données étiquetées ; la validation croisée standard sur l'ensemble augmenté gonfle les estimations.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Exploite les données non étiquetées peu coûteuses pour améliorer les performances lorsque les étiquettes sont coûteuses ou rares.
  • Compatible avec toute implémentation de gradient boosting (XGBoost, LightGBM, CatBoost, scikit-learn) sans modifications architecturales.
  • Le seuillage de confiance fournit une porte de qualité intégrée qui limite le bruit des pseudo-étiquettes.
  • Maintient la pleine puissance prédictive et la modélisation des interactions de caractéristiques des arbres de gradient boosting.
  • Le raffinement itératif permet l'incorporation progressive des données non étiquetées à mesure que le modèle s'améliore.

Applications

  • Diagnostic médical où les dossiers patients étiquetés sont limités mais les notes cliniques non étiquetées sont abondantes.
  • Détection de défauts industriels utilisant un petit ensemble d'exemples de défauts étiquetés et un grand flux de production non étiqueté.
  • Classification de texte et analyse de sentiments avec des exemples de départ étiquetés augmentés par des corpus non étiquetés.
  • Notation de crédit lorsque seule une fraction des candidatures historiques a des résultats de défaut vérifiés.
  • Télédétection et classification géospatiale combinant quelques mesures de terrain étiquetées avec de grandes caractéristiques d'imagerie satellite non étiquetées.

Comment ça marche

Comment ça marche

1

Un modèle de gradient boosting standard (XGBoost, LightGBM, CatBoost, scikit-learn GBM, etc.) est entraîné sur les exemples étiquetés disponibles en utilisant une minimisation de perte supervisée standard. Ce modèle de base doit être au moins modérément précis pour que le pseudo-étiquetage aide plutôt que nuise.

2

Le modèle de base est appliqué à chaque exemple non étiqueté. Les prédictions qui dépassent un seuil de confiance tau (par exemple, probabilité prédite supérieure à 0,9 pour la classification, ou prédictions dans un intervalle étroit pour la régression) sont acceptées comme pseudo-étiquettes. Le filtrage de haute confiance limite la propagation des erreurs dans les premiers tours.

Formule
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tau
3

Les exemples pseudo-étiquetés acceptés sont ajoutés à l'ensemble d'entraînement étiqueté, éventuellement pondérés en dessous de 1,0 pour refléter leur origine incertaine. L'ensemble de données combiné est maintenant substantiellement plus grand et peut mieux couvrir l'espace des caractéristiques.

4

Un nouveau modèle de gradient boosting est entraîné à partir de zéro (ou démarré à chaud) sur l'ensemble de données augmenté. Parce que le gradient boosting est intrinsèquement séquentiel et sensible au bruit des étiquettes, le suivi de la perte de validation sur l'ensemble étiqueté réservé est essentiel pour détecter la dégradation causée par des pseudo-étiquettes bruitées.

5

Les étapes 2 à 4 se répètent pendant un nombre fixe de tours ou jusqu'à convergence, définie comme un changement négligeable dans la métrique de validation ou aucun nouvel exemple non étiqueté ne franchissant le seuil de confiance. À chaque tour, le seuil de confiance peut être progressivement assoupli pour inclure plus de données pseudo-étiquetées.

Pièges courants

  • Utilisation de données pseudo-étiquetées dans le pli de validation, ce qui donne une estimation de performance optimiste et biaisée.
  • Définir le seuil de confiance trop bas dans les premiers tours, inondant le ré-entraînement avec des étiquettes bruitées et provoquant un transfert négatif.
  • Ignorer le décalage de distribution entre les données étiquetées et non étiquetées, ce qui peut dégrader les performances en dessous de la référence supervisée.
  • Ne pas pondérer les exemples pseudo-étiquetés en dessous de 1,0, donnant aux prédictions incertaines la même importance qu'aux étiquettes vérifiées par l'homme.
  • S'arrêter à un seul tour de pseudo-étiquetage au lieu d'itérer jusqu'à convergence.

Questions fréquentes

Comment choisir le seuil de confiance ?

Commencez prudemment — pour la classification binaire, des valeurs supérieures à 0,9 sont courantes au premier tour. Surveillez la précision de validation sur l'ensemble étiqueté après chaque tour et assouplissez progressivement le seuil uniquement si les performances se maintiennent ou s'améliorent. Il n'y a pas de valeur principielle unique ; traitez-le comme un hyperparamètre réglable.

Les exemples pseudo-étiquetés doivent-ils être pondérés de la même manière que les exemples étiquetés ?

Généralement non. Attribuer un poids inférieur à 1,0 (par exemple, 0,5) aux exemples pseudo-étiquetés réduit l'influence des prédictions incertaines sur la fonction de perte. Certaines implémentations lient le poids à la confiance prédite par le modèle, donnant un poids plus élevé aux pseudo-étiquettes de confiance plus élevée.

Quand le gradient boosting semi-supervisé nuit-il aux performances ?

Il nuit lorsque le modèle initial est trop faible pour produire des pseudo-étiquettes fiables, lorsque les données étiquetées et non étiquetées diffèrent en distribution, ou lorsque l'ensemble non étiqueté est petit par rapport à l'ensemble étiqueté. Dans ces scénarios, un GBM supervisé standard sur les données étiquetées seules est généralement plus sûr.

Est-ce différent du mode semi-supervisé intégré de CatBoost ?

CatBoost implémente l'entraînement semi-supervisé nativement en optimisant conjointement une perte supervisée sur les données étiquetées et une perte non supervisée ou de pseudo-étiquetage sur les données non étiquetées au sein d'une seule exécution d'entraînement, ce qui peut être plus stable que le pseudo-étiquetage externe itératif. Les boucles d'auto-apprentissage manuelles sont plus générales et fonctionnent avec n'importe quelle bibliothèque GBM.

Combien d'itérations de pseudo-étiquetage sont nécessaires ?

Typiquement 3 à 10 tours suffisent ; la convergence est détectée lorsque la métrique de validation sur l'ensemble étiqueté cesse de s'améliorer ou que le nombre de nouvelles pseudo-étiquettes acceptées tombe près de zéro. Plus de tours risquent d'aggraver les erreurs de pseudo-étiquetage.

Méthodes associées

Sources

  1. Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)

    Ouvrir la référence de la publication
    Copié.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN : 978-0-262-03358-9
    Copié.