Arbre de décision en apprentissage actif
- Introduite par
- Settles, B. (active learning framework); Breiman et al. (decision tree base)
- Année
- 1984–2010
- Type
- Active learning with decision tree base learner
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'apprentissage actif avec un arbre de décision combine la structure interprétable d'un arbre de type CART avec une stratégie de requête qui sélectionne les instances non étiquetées les plus informatives pour l'annotation humaine.
Le modèle demande itérativement des étiquettes uniquement pour les exemples dont il est le plus incertain, minimisant ainsi le coût d'étiquetage tout en maximisant la précision de la classification sur les données tabulaires.
L’intuition derrière la méthode
L'étiquetage de chaque exemple d'entraînement est coûteux. L'apprentissage actif résout ce problème en permettant au modèle de poser la question : « Quel exemple non étiqueté, s'il était étiqueté, m'apprendrait le plus ? » Un arbre de décision est utilisé comme classifieur qui estime l'incertitude à chaque étape de la requête. Après l'ajout de chaque nouvelle étiquette, l'arbre est réentraîné et le cycle de requête se répète. Le résultat est un modèle qui atteint une précision compétitive avec beaucoup moins d'exemples étiquetés qu'un arbre entièrement supervisé entraîné à partir de zéro, ce qui le rend pratique pour les contextes où l'annotation est coûteuse ou chronophage.
Histoire
Les arbres de décision en tant que classifieurs remontent aux CART de Breiman et al. (1984) et C4.5 de Quinlan (1993). L'apprentissage actif en tant que cadre systématique a été examiné de manière exhaustive par Burr Settles (2010), qui a documenté l'échantillonnage d'incertitude, la requête par comité et les stratégies de changement de modèle attendu. Les arbres de décision sont des apprenants de base standard dans les benchmarks d'apprentissage actif depuis la fin des années 1990, apparaissant dans les premiers travaux d'échantillonnage basé sur des pools de Cohn, Atlas et Ladner (1994) et les comparaisons empiriques ultérieures entre les types d'apprenants.
Quand l’utiliser
Utilisez l'apprentissage actif avec un arbre de décision lorsque les données d'entraînement étiquetées sont rares ou coûteuses à obtenir, mais qu'un grand pool d'instances non étiquetées est disponible — par exemple dans l'annotation médicale, la classification de documents ou les tâches de détection de pannes de capteurs. La base d'arbre de décision est particulièrement adaptée lorsque l'interprétabilité du modèle final est requise en plus de l'efficacité de l'étiquetage. Évitez cette approche lorsque l'ensemble de données entier peut être étiqueté à faible coût (l'apprentissage passif suffit), lorsque le pool étiqueté est déjà grand (des centaines ou des milliers), lorsque l'espace des caractéristiques est très haute dimension (les apprenants actifs basés sur le gradient boosting ou les réseaux de neurones sont plus performants), ou lorsque le coût de réentraînement par itération est prohibitif pour de très grands ensembles de données.
Limites et points d’attention
- La stratégie de requête et le réentraînement de l'arbre peuvent être coûteux en termes de calcul lorsque le pool non étiqueté est très grand.
- Les arbres de décision sont des apprenants à variance élevée ; avec peu d'étiquettes initiales, l'arbre précoce peut être peu fiable, conduisant à de mauvaises requêtes initiales.
- Le plafond de performance est inférieur à celui des méthodes d'ensemble telles que la forêt aléatoire ou le gradient boosting avec le même budget d'étiquetage.
- Suppose que les étiquettes de l'oracle sont précises ; des étiquettes bruyantes ou incohérentes peuvent dégrader la boucle active plus rapidement qu'en apprentissage passif.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Réduit considérablement le nombre d'étiquettes nécessaires pour atteindre une précision cible par rapport à l'échantillonnage aléatoire.
- Le modèle de base de l'arbre de décision est interprétable par l'homme, ce qui le rend adapté aux domaines réglementés ou nécessitant des explications.
- Fonctionne bien sur des ensembles de données tabulaires de taille modérée avec des types de caractéristiques mixtes sans nécessiter de mise à l'échelle des caractéristiques.
- Les stratégies de requête basées sur l'incertitude sont simples à implémenter et à expliquer aux parties prenantes.
- La précision hors-sac ou sur l'ensemble de validation après chaque itération fournit une courbe d'apprentissage transparente.
Applications
- Annotation d'images ou de dossiers médicaux où le temps d'étiquetage par des experts est limité.
- Classification de texte avec des documents étiquetés rares et un grand corpus non étiqueté.
- Détection de pannes de capteurs et industrielles avec des coûts d'annotation élevés.
- Ensembles de données écologiques ou de télédétection où la vérification sur le terrain est coûteuse.
- Pipelines de détection de fraude où seule une petite fraction des transactions peut être examinée manuellement.
Comment ça marche
Comment ça marche
Un petit ensemble initial d'instances étiquetées est collecté pour amorcer le processus, ainsi qu'un plus grand pool d'instances non étiquetées. L'ensemble étiqueté est généralement choisi au hasard ou par échantillonnage stratifié pour s'assurer qu'au moins un exemple de chaque classe attendue est présent avant le début de la boucle active.
Un classifieur à arbre de décision (généralement CART ou C4.5) est entraîné sur l'ensemble étiqueté actuel. L'arbre apprend des règles de division qui minimisent l'impureté (Gini ou entropie) à chaque nœud, produisant un classifieur capable également de fournir des estimations de probabilité de classe pour toute instance non étiquetée.
Un critère d'informativité — le plus souvent l'échantillonnage d'incertitude basé sur l'entropie de prédiction H ou la marge entre les deux probabilités de classe les plus élevées — évalue chaque instance non étiquetée. L'instance avec le score d'incertitude le plus élevé est sélectionnée comme requête : x* = argmax H(y-hat | x).
Formule
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)L'instance sélectionnée est présentée à un oracle (annotateur humain ou mécanisme d'étiquetage automatisé) pour annotation. Sa véritable étiquette est ajoutée à l'ensemble d'entraînement étiqueté, et le pool non étiqueté diminue d'un élément. Cette étape est le goulot d'étranglement critique dans les applications réelles et doit être auditée pour la fiabilité de l'annotateur.
L'arbre de décision est réentraîné à partir de zéro sur l'ensemble étiqueté étendu, et le cycle requête-score-étiquette se répète. Les critères d'arrêt incluent l'atteinte d'un budget d'étiquetage, d'un seuil de précision minimal sur un ensemble de validation réservé, ou d'un nombre maximal d'itérations. L'évaluation finale doit utiliser un ensemble de test entièrement indépendant.
Pièges courants
- Utiliser l'ensemble de test pour guider la stratégie de requête, ce qui entraîne une fuite d'informations et gonfle les métriques d'évaluation.
- Ne pas définir une graine aléatoire fixe, rendant l'ordre d'étiquetage et les résultats non reproductibles entre les exécutions.
- Ignorer le déséquilibre des classes dans l'ensemble de départ initial, ce qui amène l'arbre à interroger principalement la classe majoritaire.
- Arrêter la boucle trop tôt en se basant sur la précision d'entraînement plutôt que sur un ensemble de validation indépendant.
- Traiter la précision finale de l'apprentissage actif comme comparable à une référence entièrement supervisée sans rapporter le nombre d'étiquettes utilisées.
Questions fréquentes
Pourquoi utiliser un arbre de décision plutôt qu'un modèle plus puissant comme apprenant de base ?
Les arbres de décision sont rapides à réentraîner à chaque itération et produisent les estimations de probabilité nécessaires au calcul du score d'incertitude. Leur interprétabilité est également importante dans les domaines nécessitant une explication du modèle final. Pour une précision maximale, un apprenant actif basé sur une forêt aléatoire ou le gradient boosting peut être préféré au détriment de l'interprétabilité.
Combien d'exemples étiquetés initiaux dois-je avoir pour commencer ?
Une règle empirique courante est d'avoir au moins un ou deux exemples par classe pour s'assurer que l'arbre peut effectuer des divisions significatives. En pratique, commencer avec 5 à 20 instances étiquetées est typique ; moins que cela risque de produire un arbre initial trop dégénéré pour générer des scores d'incertitude informatifs.
L'ordre des requêtes a-t-il de l'importance ?
Oui. La séquence de requêtes dépend du chemin : les requêtes précoces façonnent ce que l'arbre apprend et donc quels exemples ultérieurs semblent les plus incertains. Différentes graines aléatoires ou ensembles étiquetés initiaux peuvent conduire à des courbes d'apprentissage substantiellement différentes, il est donc recommandé de répliquer les expériences sur plusieurs graines lors de la comparaison de stratégies.
Quand dois-je arrêter de faire des requêtes ?
Définissez un budget d'étiquetage à l'avance, ou surveillez la précision de validation et arrêtez lorsque l'amélioration par nouvelle étiquette tombe en dessous d'un seuil. N'utilisez jamais l'ensemble de test comme critère d'arrêt, car cela constitue une fuite de données.
Puis-je utiliser cette approche avec des problèmes multi-classes ?
Oui. L'échantillonnage d'incertitude basé sur l'entropie se généralise naturellement à plusieurs classes. Pour les contextes multi-classes fortement déséquilibrés, envisagez des arbres de décision sensibles aux coûts ou pondérés par classe et assurez-vous que l'ensemble de départ initial couvre toutes les classes.
Méthodes associées
Sources
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
Ouvrir la référence de la publicationCopié.Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.
ISBN : 978-0-412-04841-8Copié.