Forêt aléatoire semi-supervisée
- Introduite par
- Leistner, C., Saffari, A., Santner, J., & Bischof, H.
- Année
- 2009
- Type
- Semi-supervised ensemble classifier
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La Forêt aléatoire semi-supervisée (SSL-RF) étend la Forêt aléatoire classique en exploitant à la fois des exemples d'entraînement étiquetés et non étiquetés.
Lorsque l'étiquetage des données est coûteux ou chronophage, la SSL-RF attribue des pseudo-étiquettes provisoires aux observations non étiquetées via la forêt elle-même, puis se réentraîne sur l'ensemble de données enrichi, améliorant progressivement la précision sans nécessiter d'annotation humaine supplémentaire.
L’intuition derrière la méthode
Imaginez demander à un panel d'experts (vos arbres) de classer des cas, mais la plupart des dossiers n'ont pas de diagnostic confirmé. La SSL-RF permet au panel de voter sur les dossiers incertains, traite les votes confiants comme des diagnostics provisoires, ajoute ces dossiers au pool d'entraînement et se réentraîne — répétant le processus jusqu'à ce que le panel converge. Les exemples étiquetés guident la forêt, tandis que la majorité non étiquetée façonne les frontières de décision dans des régions que les données étiquetées seules n'auraient pas pu atteindre, conduisant à une meilleure généralisation lorsque les étiquettes sont rares.
Histoire
L'apprentissage semi-supervisé en tant que domaine a été systématiquement étudié par Xiaojin Zhu (2005), établissant la motivation théorique pour l'exploitation des données non étiquetées. La formulation canonique de la SSL-RF a été introduite par Leistner et al. à l'ICCV 2009, combinant la scission basée sur l'entropie avec la régularisation de la variété (manifold regularization) au sein du cadre de la forêt aléatoire. La méthode a gagné du terrain en vision par ordinateur et en imagerie médicale où les coûts d'annotation sont élevés, et a depuis été étendue avec l'intégration de caractéristiques profondes et des variantes de propagation d'étiquettes basées sur des graphes.
Quand l’utiliser
Utilisez la Forêt aléatoire semi-supervisée lorsque vous disposez d'une abondance de données non étiquetées mais que l'étiquetage est coûteux, rare ou chronophage — ce qui est courant en imagerie médicale, en télédétection, en classification de texte et avec les données biologiques. Elle convient aux ensembles de données tabulaires, aux caractéristiques dérivées d'images et aux types mixtes, avec au moins un sous-ensemble étiqueté modeste (environ 5 à 20 % des données totales). Évitez-la lorsque pratiquement aucune étiquette fiable n'existe (la forêt initiale sera trop faible pour générer des pseudo-étiquettes utiles), lorsque les frontières de classe sont très non lisses, ou lorsqu'un modèle entièrement supervisé atteint déjà des performances satisfaisantes sur votre seul ensemble étiqueté.
Limites et points d’attention
- La qualité des pseudo-étiquettes dépend de la forêt supervisée initiale ; un modèle de départ faible propage les erreurs à toutes les itérations ultérieures.
- La sélection du seuil de confiance n'est pas triviale et peut affecter considérablement les performances finales.
- Le coût de calcul augmente avec le nombre d'échantillons non étiquetés et d'itérations, en particulier pour les grandes forêts.
- Si la distribution des données non étiquetées diffère de celle des données étiquetées (décalage de covariables), les pseudo-étiquettes peuvent être systématiquement biaisées.
- La convergence n'est pas garantie ; l'auto-entraînement itératif peut amplifier les erreurs de classification initiales sans critères d'arrêt prudents.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Exploite les données non étiquetées peu coûteuses pour améliorer la précision au-delà de ce que les seules données étiquetées peuvent atteindre.
- Hérite de tous les avantages de la Forêt aléatoire : robustesse, importance des caractéristiques intégrée et résistance au surapprentissage via le bagging.
- Le seuil de confiance flexible permet de contrôler l'agressivité avec laquelle les données non étiquetées sont incorporées.
- Gère naturellement les types de caractéristiques mixtes, les relations non linéaires et les entrées de grande dimension sans hypothèses distributionnelles.
- Les estimations Out-of-Bag de la portion étiquetée fournissent un signal de validation même avec de petits ensembles étiquetés.
- Applicable aux tâches de classification et de régression avec des modifications algorithmiques minimales.
Applications
- Classification d'images médicales où l'annotation par des experts est coûteuse, comme en histopathologie et en radiologie.
- Analyse d'images de télédétection et satellitaires avec des étiquettes de vérité terrain limitées.
- Catégorisation de texte et de documents lorsque seul un sous-ensemble de documents peut être étiqueté manuellement.
- Analyse de données biologiques et génomiques où la validation en laboratoire est gourmande en ressources.
- Contrôle qualité industriel avec des étiquettes de défauts rares mais une abondance de lectures de capteurs non étiquetées.
- Détection de fraude où les cas de fraude confirmés sont rares par rapport aux transactions non étiquetées.
Comment ça marche
Comment ça marche
Le processus commence avec un petit ensemble étiqueté et un grand ensemble non étiqueté. Les observations étiquetées établissent l'espace des caractéristiques initial et la distribution des classes, garantissant qu'au moins un signal fiable existe avant toute tentative de pseudo-étiquetage.
Une Forêt aléatoire standard est entraînée uniquement sur les données étiquetées. L'échantillonnage bootstrap et la sélection aléatoire de caractéristiques sont appliqués exactement comme dans le cas supervisé, produisant un ensemble dont les prédictions ne reflètent que les étiquettes de vérité terrain disponibles à ce stade.
La forêt entraînée prédit les probabilités de classe pour chaque observation non étiquetée. Les échantillons dont la probabilité prédite dépasse un seuil de confiance — souvent ajusté par validation croisée — reçoivent une pseudo-étiquette. Les échantillons à faible confiance peuvent être laissés non étiquetés ou sous-pondérés pour éviter la propagation d'erreurs.
La forêt est réentraînée sur le pool combiné d'exemples étiquetés originaux et de nouveaux exemples pseudo-étiquetés. Une pondération optionnelle des échantillons peut réduire l'importance des instances pseudo-étiquetées par rapport aux vraies étiquettes. Une régularisation de la variété (manifold regularization) ou des critères de scission basés sur l'entropie peuvent également être appliqués à ce stade.
Les étapes de pseudo-étiquetage et de réentraînement sont répétées pendant un nombre fixe d'itérations ou jusqu'à ce que les attributions de pseudo-étiquettes se stabilisent au fil des cycles successifs. L'arrêt précoce empêche l'excès de confiance d'aggraver les erreurs, en particulier dans les environnements très bruyants ou à fort chevauchement.
Les prédictions finales sont obtenues en agrégeant les votes de tous les arbres de la dernière forêt entraînée : vote majoritaire pour la classification ou réponse moyenne pour la régression. Les scores de confiance de la forêt peuvent également servir d'estimations d'incertitude calibrées pour la prise de décision ultérieure.
Formule
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}Pièges courants
- Définir le seuil de confiance trop bas et inonder l'ensemble d'entraînement de pseudo-étiquettes bruyantes.
- Ignorer le décalage de covariables entre les pools étiquetés et non étiquetés, ce qui peut dégrader plutôt qu'améliorer la précision.
- Évaluer uniquement sur des estimations Out-of-Bag sans un ensemble de test étiqueté véritablement mis de côté.
- Exécuter trop d'itérations d'auto-entraînement sans arrêt précoce, provoquant une accumulation d'erreurs au fil des cycles.
- Traiter les observations pseudo-étiquetées comme étant aussi fiables que les vraies étiquettes sans appliquer de pondération des échantillons.
Questions fréquentes
De combien de données étiquetées ai-je besoin pour commencer ?
Il n'y a pas de minimum strict, mais la forêt supervisée initiale doit être suffisamment robuste pour produire des pseudo-étiquettes utiles. En pratique, au moins 5 à 10 % des échantillons totaux étiquetés — ou quelques centaines d'observations étiquetées — tendent à donner des prédictions de départ fiables. Avec très peu d'étiquettes, envisagez plutôt des méthodes de co-entraînement ou basées sur des graphes.
Comment choisir le seuil de confiance pour le pseudo-étiquetage ?
Effectuez une validation croisée sur l'ensemble étiqueté sur une grille de valeurs de seuil (par exemple, 0,60 à 0,95) et sélectionnez la valeur qui maximise la performance sur l'ensemble de validation. Un seuil plus élevé réduit le bruit mais aussi le volume de données non étiquetées utilisées ; commencer de manière conservatrice autour de 0,80 est une pratique courante.
La SSL-RF peut-elle gérer le déséquilibre des classes ?
Oui, mais le déséquilibre des classes dans l'ensemble étiqueté se propage aux pseudo-étiquettes. Utilisez des critères de scission pondérés par classe ou suréchantillonnez la classe minoritaire dans le pool étiqueté avant la première étape d'entraînement. Surveillez la précision et le rappel par classe plutôt que la précision globale.
La SSL-RF est-elle identique à l'auto-entraînement avec un apprenant de base de type forêt aléatoire ?
L'auto-entraînement est le schéma algorithmique plus large ; la SSL-RF en est une réalisation. Les implémentations de SSL-RF peuvent également incorporer des critères de scission régularisés par la variété (manifold-regularized splitting criteria) ou une structure basée sur des graphes, allant au-delà de l'auto-entraînement itératif naïf.
Quand devrais-je préférer le gradient boosting à la SSL-RF ?
Si toutes vos données sont étiquetées, le gradient boosting donne généralement une plus grande précision et devrait être préféré. Utilisez la SSL-RF spécifiquement lorsque la fraction étiquetée est faible et qu'un grand pool de données non étiquetées est disponible à exploiter.
Méthodes associées
Sources
Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.
Ouvrir la référence DOICopié.Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.
Ouvrir la référence de la publicationCopié.