Skip to content
Retour aux résultats

Apprentissage actif avec LightGBM

Introduite par
Settles, B. (active learning); Ke, G. et al. (LightGBM)
Année
2017–present
Type
Hybrid (active learning query strategy + gradient boosting classifier)
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Apprentissage actif avec LightGBM couple la stratégie de sélection de requêtes économe en étiquettes de l'apprentissage actif avec la rapidité et la précision de LightGBM, un cadre d'amplification de gradient basé sur des histogrammes.

Le modèle sélectionne itérativement les instances non étiquetées les plus informatives pour une annotation humaine, réentraîne LightGBM sur l'ensemble étiqueté croissant, et converge vers une grande précision avec beaucoup moins d'exemples étiquetés que l'apprentissage supervisé passif.

L’intuition derrière la méthode

L'étiquetage des données est coûteux. Apprentissage actif avec LightGBM aborde ce problème en utilisant le modèle LightGBM actuel pour identifier les échantillons non étiquetés sur lesquels il est le plus incertain — ceux proches d'une frontière de décision ou avec l'entropie de prédiction la plus élevée — et en demandant à un annotateur humain uniquement ces étiquettes. Parce que LightGBM est rapide à entraîner et produit des estimations de probabilité bien calibrées grâce à l'amplification de gradient, ce signal d'incertitude est fiable. Au cours de plusieurs cycles de requêtes, le modèle apprend où il a le plus besoin d'informations, construisant ainsi la précision avec un effort d'annotation minimal.

Histoire

L'apprentissage actif en tant que domaine a été systématisé par Settles (2012), s'appuyant sur des travaux antérieurs sur l'échantillonnage sélectif et l'apprentissage par requête des années 1990. LightGBM a été introduit par Ke et al. à NeurIPS 2017 en tant qu'implémentation d'amplification de gradient très efficace utilisant des divisions basées sur des histogrammes et une croissance axée sur les feuilles. Leur combinaison est devenue populaire en apprentissage automatique appliqué à partir d'environ 2018, en particulier dans l'annotation de textes biomédicaux, la télédétection et le contrôle qualité industriel, où les coûts d'étiquetage sont élevés et les données tabulaires ou riches en caractéristiques sont abondantes.

Quand l’utiliser

Utilisez Apprentissage actif avec LightGBM lorsque le coût d'annotation est la contrainte principale : de grands pools de données tabulaires non étiquetées existent mais l'étiquetage de chaque instance est coûteux en temps ou en argent, et une précision de niveau LightGBM est requise. Il excelle lorsque la distribution des classes est déséquilibrée ou que les données non étiquetées sont abondantes mais les données étiquetées rares. Ne l'utilisez pas lorsque l'ensemble complet des données peut être étiqueté à faible coût, lorsque les données arrivent uniquement par lots entièrement étiquetés (l'apprentissage passif suffit), lorsque l'oracle (l'annotateur) n'est pas fiable ou indisponible interactivement, ou lorsque l'interprétabilité de chaque décision est strictement requise sans outils post-hoc.

Limites et points d’attention

  • La stratégie de requête et le critère d'arrêt nécessitent une sélection minutieuse ; des choix erronés gaspillent le budget d'étiquetage.
  • Chaque cycle introduit une latence si le réentraînement est effectué à partir de zéro ; de grands ensembles de données avec de nombreux cycles peuvent être lents.
  • Les performances dépendent d'un oracle fiable ; des étiquettes humaines bruitées ou incohérentes dégradent rapidement le modèle.
  • Ne convient pas aux environnements purement de flux ou en ligne sans adaptation à l'entraînement incrémentiel de LightGBM.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Réduit considérablement l'effort d'annotation en concentrant l'étiquetage sur les instances les plus informatives.
  • La rapidité de LightGBM permet un réentraînement rapide entre les cycles de requêtes, rendant les flux de travail interactifs pratiques.
  • Gère bien les données tabulaires de haute dimension, y compris les caractéristiques catégorielles grâce au support natif de LightGBM.
  • Compatible avec plusieurs stratégies de requête (échantillonnage d'incertitude, marge, entropie, requête par comité).
  • Gère naturellement le déséquilibre des classes grâce aux paramètres class-weight et scale-pos-weight de LightGBM.

Applications

  • Annotation de dossiers médicaux et NLP clinique, où l'étiquetage par des experts est coûteux.
  • Télédétection et classification d'images satellites avec une couverture de vérité terrain partielle.
  • Détection de défauts industriels sur des données de capteurs tabulaires avec une inspection manuelle coûteuse.
  • Détection de fraude et notation de risque avec des étiquettes de fraude confirmées limitées.
  • Criblage de littérature scientifique dans des revues systématiques pour prioriser les documents pour une lecture complète.

Comment ça marche

Comment ça marche

1

Un petit ensemble initial d'exemples étiquetés est tiré au hasard des données disponibles. Ceux-ci forment le pool d'entraînement initial. Les instances non étiquetées restantes forment le pool de requêtes à partir duquel le modèle demandera des annotations lors des cycles ultérieurs.

2

LightGBM est entraîné sur le pool étiqueté actuel en utilisant sa croissance d'arbres basée sur des histogrammes et axée sur les feuilles, ce qui offre un entraînement rapide et de solides performances prédictives, même sur de petits ensembles étiquetés. Des estimations de probabilité pour chaque classe sont produites pour toutes les instances du pool non étiqueté.

3

Une fonction d'acquisition évalue chaque instance non étiquetée selon son caractère informatif — généralement l'entropie de prédiction H(y|x), l'échantillonnage de marge, ou le désaccord d'une requête par comité. L'instance (ou les instances) avec le score le plus élevé est sélectionnée pour l'annotation dans ce cycle.

Formule
x^* = \arg\max_{x \in U}\, H(y \mid x, \mathcal{L})
4

Les instances sélectionnées sont présentées à un oracle humain — un expert du domaine, une plateforme de crowdsourcing, ou un étiqueteur automatisé — qui fournit l'étiquette de classe vraie. C'est la seule étape nécessitant une entrée externe ; son coût et sa fiabilité contraignent directement le nombre de cycles de requêtes réalisables.

5

Les nouvelles instances étiquetées sont ajoutées au pool d'entraînement et LightGBM est réentraîné à partir de zéro (ou mis à jour de manière incrémentielle là où c'est pris en charge). Le cycle se répète jusqu'à ce qu'un budget d'étiquetage, un seuil de précision, ou un nombre maximum de cycles de requêtes soit atteint.

Pièges courants

  • Évaluer les performances uniquement sur l'ensemble étiqueté sélectionné activement, qui est biaisé vers les exemples difficiles — toujours réserver un ensemble de test aléatoire avant le début de la boucle d'apprentissage actif.
  • Ignorer la sensibilité au démarrage à froid : si l'ensemble initial est trop petit ou non représentatif, les premières requêtes peuvent être trompeuses.
  • Utiliser des probabilités non calibrées comme scores d'incertitude sans vérifier la calibration de LightGBM (l'échelle de Platt ou la régression isotonique aide).
  • Traiter le pool étiqueté comme i.i.d. lors de la déclaration des métriques de généralisation — l'ensemble échantillonné activement n'est pas un échantillon aléatoire de la population.

Questions fréquentes

Quelle stratégie de requête fonctionne le mieux avec LightGBM ?

L'échantillonnage d'incertitude via l'entropie de prédiction est le point de départ le plus courant car LightGBM produit directement des probabilités de classe. L'échantillonnage de marge (différence entre les deux probabilités de classe les plus élevées) est souvent plus robuste lorsque les décomptes de classes sont très inégaux. La requête par comité nécessite l'entraînement de plusieurs modèles mais peut réduire le biais des estimations d'incertitude d'un seul modèle.

Combien d'exemples étiquetés sont nécessaires pour commencer ?

Un ensemble initial d'au moins un exemple par classe est requis ; en pratique, 10 à 50 instances étiquetées sélectionnées aléatoirement par classe donnent à LightGBM suffisamment de signal pour produire des estimations d'incertitude significatives pour le premier cycle de requêtes.

Dois-je réentraîner LightGBM à partir de zéro à chaque cycle ?

Le réentraînement à partir de zéro garantit que le modèle reflète pleinement l'ensemble étiqueté mis à jour et est la pratique standard. Pour des ensembles de données très volumineux ou de nombreux cycles, des approches incrémentielles existent mais nécessitent de la prudence pour éviter la dérive du modèle.

Comment savoir quand arrêter les requêtes ?

Les règles d'arrêt courantes incluent : atteindre un budget d'étiquetage fixe, la précision de validation mise de côté qui stagne sur plusieurs cycles, ou le score d'incertitude maximal tombant en dessous d'un seuil. Le suivi des performances d'un ensemble de test aléatoire mis de côté au cours des cycles est l'indicateur le plus fiable.

Apprentissage actif avec LightGBM est-il la même chose que l'apprentissage semi-supervisé ?

Non. L'apprentissage semi-supervisé utilise les données non étiquetées directement dans l'entraînement (par exemple, pseudo-étiquettes ou régularisation de cohérence). L'apprentissage actif interroge un oracle humain pour obtenir des étiquettes vraies pour des instances non étiquetées sélectionnées ; les données non étiquetées sans étiquette interrogée ne sont tout simplement pas utilisées pour l'entraînement.

Méthodes associées

Sources

  1. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.

    Ouvrir la référence DOI
    Copié.
  2. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems, 30, 3146–3154.

    Ouvrir la référence de la publication
    Copié.