Skip to content
Retour aux résultats

Apprentissage actif par ensemble d'empilement

Introduite par
Wolpert, D. H. (stacking); Settles, B. (active learning survey)
Année
1992–2012
Type
Hybrid (active learning + stacked ensemble)
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Active Learning Stacking Ensemble combine une boucle de requête d'apprentissage actif avec la généralisation par empilement : un ensemble de données non étiquetées est disponible, et le modèle sélectionne itérativement les instances les plus informatives pour un étiquetage humain, utilisant ces étiquettes pour entraîner et affiner un ensemble empilé de multiples apprenants de base surmonté par un méta-apprenant.

Cette approche réduit le coût d'annotation tout en maximisant le pouvoir prédictif de l'ensemble.

L’intuition derrière la méthode

L'étiquetage des données est coûteux. L'apprentissage actif demande : quels exemples non étiquetés enseigneraient le plus au modèle ? En mesurant l'incertitude ou le désaccord entre les apprenants de base d'un ensemble empilé, le système peut diriger l'annotateur humain vers les exemples où l'ensemble est le plus confus. Chaque point nouvellement étiqueté est réinjecté dans le pipeline d'empilement, mettant à jour à la fois les apprenants de base et le méta-apprenant. Le résultat est un ensemble puissant construit avec beaucoup moins d'étiquettes que ne l'exigerait l'entraînement supervisé standard.

Histoire

La généralisation par empilement a été introduite par David Wolpert en 1992 comme moyen de combiner des apprenants de base diversifiés via un méta-apprenant. L'apprentissage actif en tant que cadre systématique pour sélectionner des exemples informatifs a été largement examiné par Burr Settles en 2012. La combinaison — appliquer des stratégies de requête active aux architectures d'ensemble ou d'empilement — a émergé dans les années 2000 et 2010 alors que les chercheurs cherchaient à réduire les coûts d'annotation pour les modèles complexes, et est maintenant un paradigme établi dans l'apprentissage automatique à faible ressource et efficace en annotation.

Quand l’utiliser

Utilisez Active Learning Stacking Ensemble lorsque les données étiquetées sont rares ou coûteuses à obtenir, qu'un grand pool de données non étiquetées est disponible, et que vous avez besoin d'une forte précision prédictive. Il est particulièrement précieux dans des domaines tels que l'annotation médicale, la classification de documents juridiques et l'étiquetage d'images scientifiques, où le temps d'expert est limité. N'utilisez pas cette approche lorsque toutes les données peuvent être étiquetées à faible coût — l'empilement standard sera plus simple et tout aussi efficace. Évitez-la lorsque le pool non étiqueté est petit (la sélection active offre peu d'avantages) ou lorsque des prédictions en temps réel sont nécessaires pendant la boucle de requête, car le réentraînement de la pile après chaque requête est coûteux en calcul.

Limites et points d’attention

  • Le réentraînement de l'ensemble empilé complet après chaque requête est coûteux en calcul pour de grands ensembles d'apprenants de base.
  • La conception de la stratégie de requête n'est pas triviale : une mauvaise fonction d'acquisition peut sélectionner des exemples redondants ou non informatifs.
  • Le méta-apprenant nécessite suffisamment de données étiquetées pour apprendre des poids de combinaison fiables ; avec très peu d'étiquettes, les méta-caractéristiques sont bruitées.
  • La latence de rétroaction d'un oracle humain peut rendre la boucle itérative lente en pratique.
  • La performance dépend fortement de la diversité des apprenants de base et du méta-apprenant choisi.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Atteint une haute précision prédictive avec moins d'exemples étiquetés que l'empilement supervisé passif.
  • La diversité de l'ensemble provenant de multiples apprenants de base rend les estimations d'incertitude de requête plus fiables.
  • Le méta-apprenant combine adaptativement les apprenants de base, corrigeant le biais de chaque apprenant de base.
  • Compatible avec pratiquement toute combinaison d'apprenants de base et de méta-apprenant.
  • Réduit systématiquement le budget d'annotation, rendant le temps d'expert plus efficace.

Applications

  • Classification d'images médicales ou de dossiers cliniques avec un nombre limité de cas annotés.
  • Classification de documents juridiques et réglementaires où l'annotation par expert est coûteuse.
  • Étiquetage de données scientifiques en biologie, chimie et télédétection.
  • Analyse de sentiments et classification de texte avec des données étiquetées spécifiques au domaine rares.
  • Détection de fraude où les étiquettes de vérité terrain nécessitent une enquête manuelle.
  • Toute tâche de prédiction tabulaire avec un grand pool non étiqueté et un budget d'étiquetage serré.

Comment ça marche

Comment ça marche

1

Un petit ensemble initial d'exemples étiquetés est utilisé pour ajuster les premiers apprenants de base dans la pile. Les données restantes restent non étiquetées dans un pool de candidats. Cet ensemble initial définit le point de départ pour toutes les requêtes actives ultérieures.

2

Une fonction d'acquisition — telle que l'incertitude de prédiction, l'échantillonnage de marge, ou le désaccord par requête de comité entre les apprenants de base — évalue chaque candidat non étiqueté. L'instance avec le score le plus élevé est sélectionnée comme la plus informative pour l'étiquetage.

3

L'instance sélectionnée est présentée à un annotateur humain ou à un oracle automatisé, qui lui attribue sa véritable étiquette. Cet exemple étiqueté est ajouté à l'ensemble d'entraînement pour la prochaine ronde d'entraînement.

4

Avec l'ensemble étiqueté mis à jour, chaque apprenant de base (par exemple, arbre de décision, SVM, régression logistique) est réentraîné. Les prédictions hors pli des apprenants de base sur l'ensemble d'entraînement forment la matrice de méta-caractéristiques utilisée pour entraîner le méta-apprenant.

5

Un méta-apprenant (communément une régression logistique ou un modèle linéaire) est entraîné sur les méta-caractéristiques produites par les apprenants de base. Il apprend comment combiner au mieux leurs prédictions, en corrigeant les erreurs systématiques de chaque apprenant de base.

6

Les étapes 2 à 5 sont répétées pour un budget fixe de requêtes ou jusqu'à ce que la performance du modèle sur un ensemble de validation retenu plafonne. L'ensemble empilé final est le modèle entraîné sur toutes les données étiquetées accumulées.

Pièges courants

  • Utiliser un seul apprenant de base — cela élimine la diversité de l'ensemble qui rend les signaux de requête actifs fiables.
  • Interroger par grands lots sans réentraîner entre-temps, ce qui gaspille le bénéfice du retour d'information incrémental.
  • Évaluer uniquement sur les données d'entraînement après chaque ronde plutôt que sur un ensemble de validation retenu.
  • Ignorer le déséquilibre des classes lors de la sélection des requêtes, ce qui peut amener la boucle active à sur-échantillonner la classe majoritaire.
  • Confondre la performance de l'ensemble initial étiqueté avec la performance finale du modèle.

Questions fréquentes

Quelle stratégie de requête fonctionne le mieux avec un ensemble empilé ?

La requête par comité, qui mesure le désaccord entre les apprenants de base, est une solution naturelle car les apprenants de base forment déjà un comité. L'échantillonnage d'incertitude sur la sortie du méta-apprenant est également courant et plus simple à implémenter.

Combien d'exemples étiquetés me faut-il pour commencer ?

Un ensemble initial d'au moins un exemple représentatif par classe est requis ; en pratique, 10 à 50 exemples étiquetés par classe donnent aux apprenants de base suffisamment de signal pour générer des estimations d'incertitude significatives pour la première ronde de requête.

Est-il préférable d'interroger un exemple à la fois ou par lots ?

Les mises à jour par requête unique maximisent l'informativité mais nécessitent un réentraînement après chaque étiquette, ce qui est coûteux. L'apprentissage actif par lots sélectionne un lot diversifié de requêtes à la fois et réentraîne une fois par lot, offrant un compromis pratique entre coût et gain d'information.

Puis-je utiliser des apprenants profonds comme modèles de base dans la pile ?

Oui, mais le réentraînement des apprenants profonds après chaque ronde de requête active est très coûteux. Un compromis courant consiste à geler ou à affiner les apprenants de base uniquement périodiquement tout en exécutant la boucle de requête plus fréquemment avec le méta-apprenant.

Comment savoir quand arrêter les requêtes ?

Arrêtez lorsque la performance de validation plafonne sur plusieurs rondes, lorsque le budget d'étiquetage est épuisé, ou lorsque la fonction d'acquisition attribue des scores d'informativité uniformément bas à tous les candidats restants — indiquant que le modèle a appris la plupart de ce que le pool peut offrir.

Méthodes associées

Sources

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    Ouvrir la référence DOI
    Copié.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool Publishers.

    Ouvrir la référence DOI
    Copié.