Skip to content
Retour aux résultats

Arbre de décision auto-supervisé

Introduite par
Multiple authors (active research area, 2010s–2020s)
Année
2015–present
Type
Self-supervised ensemble/single tree model
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'apprentissage par arbre de décision auto-supervisé combine l'interprétabilité des arbres de décision classiques avec la capacité d'exploiter de grandes quantités de données non étiquetées grâce à des tâches prétextes auto-supervisées.

Le modèle apprend des représentations de caractéristiques utiles ou des critères de division de nœuds à partir d'échantillons non étiquetés avant d'affiner les prédictions sur un petit ensemble étiqueté, comblant ainsi le fossé entre les arbres entièrement supervisés et le clustering purement non supervisé.

L’intuition derrière la méthode

Les arbres de décision standard nécessitent des exemples étiquetés à chaque nœud. Dans de nombreux contextes du monde réel, la collecte d'étiquettes est coûteuse, mais les données brutes sont abondantes. Les arbres de décision auto-supervisés résolvent ce problème en demandant d'abord à l'arbre de résoudre une tâche auxiliaire — par exemple, prédire si deux échantillons appartiennent au même cluster, ou reconstruire des caractéristiques masquées — en utilisant uniquement des données non étiquetées. Cette phase prétexte apprend à l'arbre quelles caractéristiques et quels seuils sont globalement informatifs. Lorsque les étiquettes arrivent enfin, l'arbre a déjà une longueur d'avance et en a besoin de beaucoup moins pour atteindre une bonne précision.

Histoire

L'apprentissage auto-supervisé en tant que paradigme a pris de l'importance dans l'apprentissage profond grâce aux travaux sur les objectifs contrastifs et les tâches prétextes dans les années 2010. Les chercheurs ont ensuite appliqué ces idées aux modèles basés sur des arbres pour retrouver leurs avantages en matière d'interprétabilité dans les régimes de rareté des étiquettes. Les premières formulations ont emprunté le pseudo-étiquetage à l'apprentissage semi-supervisé, tandis que les variantes ultérieures ont adopté directement des objectifs contrastifs et de reconstruction dans le critère de construction de l'arbre, faisant de ce domaine un domaine de recherche actif tout au long des années 2020.

Quand l’utiliser

Recommandé lorsque les exemples d'entraînement étiquetés sont rares mais qu'un grand pool non étiqueté de la même distribution est disponible, et lorsqu'un certain degré d'interprétabilité est toujours nécessaire (excluant les approches de réseaux neuronaux profonds). Convient également lorsque les experts du domaine peuvent concevoir des tâches prétextes significatives alignées sur la cible de prédiction. Ne convient pas lorsque l'ensemble étiqueté est déjà grand (les arbres supervisés standard égaleront ou dépasseront les performances), lorsque les données non étiquetées proviennent d'une distribution différente, ou lorsque la précision prédictive maximale sur les benchmarks tabulaires est la seule préoccupation (le gradient boosting sera généralement plus performant).

Limites et points d’attention

  • Les performances sont sensibles à la conception de la tâche prétexte ; une tâche mal choisie peut induire en erreur la structure de l'arbre.
  • Le bruit des pseudo-étiquettes s'accumule à travers les divisions si la distribution non étiquetée dérive des données étiquetées.
  • Le coût de calcul est plus élevé que celui des arbres supervisés standard en raison de la phase d'entraînement prétexte.
  • Les garanties théoriques sur la qualité des pseudo-étiquettes et la convergence sont moins établies que pour les arbres entièrement supervisés.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Exploite les données non étiquetées abondantes pour améliorer la généralisation lorsque les échantillons étiquetés sont rares.
  • Conserve l'interprétabilité des arbres de décision : les divisions restent lisibles et auditable par l'homme.
  • Cadre flexible qui accueille diverses tâches prétextes adaptées aux connaissances du domaine.
  • Réduit le coût d'étiquetage sans sacrifier la nature boîte blanche des prédictions basées sur des arbres.
  • Compatible avec les extensions d'ensemble (forêt aléatoire, boosting) pour des gains de précision supplémentaires.

Applications

  • Diagnostic médical où les dossiers de patients étiquetés sont rares mais où les données d'imagerie ou cliniques non étiquetées sont abondantes.
  • Détection de défauts industriels utilisant des journaux de capteurs d'exploitation normale abondants et peu d'événements de défaut étiquetés.
  • Classification de langage naturel avec des corpus annotés limités mais de grands pools de texte brut.
  • Détection de fraude financière où les étiquettes de fraude confirmées sont rares par rapport au volume des transactions.
  • Analyse de données scientifiques (génomique, climat) où l'annotation par des experts constitue le goulot d'étranglement.

Comment ça marche

Comment ça marche

1

Une tâche prétexte est conçue de telle sorte que l'arbre de décision puisse être entraîné sur des données non étiquetées avec des signaux de supervision générés automatiquement. Les choix courants incluent la prédiction de l'appartenance à un cluster à partir d'un passage k-means préalable, la prédiction de valeurs de caractéristiques masquées ou corrompues, ou l'attribution d'étiquettes de rotation/transformation aux instances. La tâche prétexte oblige la structure de l'arbre à découvrir des divisions informatives sans aucune étiquette fournie par l'homme.

2

Après la phase prétexte, des pseudo-étiquettes à haute confiance sont attribuées aux instances non étiquetées en utilisant les représentations ou les affectations de clusters déjà apprises. Ces pseudo-étiquettes sont traitées comme des cibles douces dans l'entraînement ultérieur, élargissant efficacement le pool étiqueté d'un petit ensemble de départ à un ensemble de travail beaucoup plus grand tout en propageant les estimations d'incertitude structurelle avec chaque étiquette.

3

En utilisant le signal combiné des pseudo-étiquettes et de toutes les étiquettes vraies disponibles, l'arbre de décision est construit à l'aide d'un algorithme de division standard (par exemple, CART, ID3 ou C4.5). Les caractéristiques dérivées de la tâche prétexte ou les scores de cluster peuvent servir de dimensions d'entrée supplémentaires, enrichissant l'espace des caractéristiques au-delà des entrées brutes et permettant des divisions qui seraient manquées par un arbre purement supervisé sur des étiquettes rares.

4

Les divisions de nœuds sont choisies pour maximiser un critère d'information — gain d'information, impureté Gini, ou un objectif contrastif auto-supervisé — évalué sur l'ensemble d'entraînement augmenté. Parce que les pseudo-étiquettes reflètent la structure globale apprise à partir de nombreux échantillons non étiquetés, les divisions ont tendance à généraliser mieux que celles apprises à partir d'un seul petit ensemble étiqueté.

5

Après la construction initiale de l'arbre, une étape d'affinage élague ou repondère les prédictions des feuilles en utilisant uniquement des exemples étiquetés vérifiés. Cela corrige tout bruit de pseudo-étiquette introduit aux étapes précédentes et garantit que les prédictions finales s'alignent sur les limites de classe de vérité terrain plutôt que sur les limites approximatives des pseudo-étiquettes.

Pièges courants

  • Concevoir une tâche prétexte sans rapport avec la cible en aval, conduisant à des représentations qui ne se transfèrent pas.
  • Utiliser des pseudo-étiquettes sans seuillage de confiance, ce qui inonde l'ensemble d'entraînement d'exemples bruités.
  • Sauter l'étape d'affinage et déployer directement l'arbre entraîné par pseudo-étiquettes, ce qui conserve les erreurs d'étiquetage systématiques.
  • Ignorer le décalage de distribution entre les pools étiquetés et non étiquetés — les pseudo-étiquettes refléteront la mauvaise structure de données.
  • Traiter l'interprétabilité comme garantie sans vérifier que les divisions dérivées des pseudo-étiquettes restent sémantiquement significatives.

Questions fréquentes

En quoi cela diffère-t-il de l'apprentissage semi-supervisé avec des arbres de décision ?

Les approches semi-supervisées propagent généralement les étiquettes des nœuds étiquetés vers les nœuds non étiquetés directement. Les arbres de décision auto-supervisés définissent d'abord une tâche prétexte qui génère des signaux de supervision synthétiques à partir de données non étiquetées seules, donnant à l'arbre des indications structurelles plus riches avant même de voir les étiquettes en aval.

Quelle tâche prétexte dois-je choisir ?

La meilleure tâche prétexte reflète la cible en aval. Pour la classification tabulaire, la prédiction de clusters k-means ou la reconstruction de caractéristiques masquées sont des points de départ courants. Si des connaissances du domaine sont disponibles — par exemple, l'ordre temporel dans les lignes de séries temporelles — une tâche qui exploite cette structure se transférera mieux.

Est-ce que cela fonctionne pour les cibles de régression ?

Oui. Les pseudo-étiquettes peuvent être des centroïdes de clusters continus ou des valeurs de caractéristiques reconstruites, et l'arbre peut être construit avec un critère d'erreur quadratique moyenne dans l'étape d'affinage. La tâche prétexte doit simplement produire un signal corrélé avec le résultat continu.

Puis-je combiner cela avec des forêts aléatoires ou du boosting ?

Oui. Chaque arbre de l'ensemble peut être construit indépendamment avec la procédure auto-supervisée, et l'ensemble final agrège leurs votes ou prédictions de la manière habituelle. Cela permet souvent de récupérer une grande partie de l'écart de précision par rapport au gradient boosting tout en conservant l'interprétabilité au niveau de l'arbre individuel.

Comment évaluer la qualité des pseudo-étiquettes ?

Comparez la précision des pseudo-étiquettes sur le petit sous-ensemble étiqueté par rapport aux étiquettes de vérité terrain avant l'affinage. Une précision de pseudo-étiquette inférieure à 70 % sur cet ensemble étiqueté réservé est un signe d'alerte indiquant que la tâche prétexte est mal alignée ou qu'un décalage de distribution est présent.

Méthodes associées

Sources

  1. Self-supervised learning. Wikipedia.

    Ouvrir la référence de la publication
    Copié.
  2. Decision tree learning. Wikipedia.

    Ouvrir la référence de la publication
    Copié.