Skip to content
Retour aux résultats

Apprentissage actif

Introduite par
Burr Settles
Année
2009
Type
Interactive supervised learning framework
Famille
Interactive ML

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'apprentissage actif est un paradigme itératif d'apprentissage automatique dans lequel un algorithme d'apprentissage interroge sélectivement un oracle — généralement un annotateur humain — pour obtenir des étiquettes sur les exemples non étiquetés les plus informatifs.

Formalisé par Burr Settles dans son article de synthèse séminal de 2009, l'apprentissage actif aborde le goulot d'étranglement pratique du coût d'annotation en atteignant une grande précision du modèle avec beaucoup moins d'exemples étiquetés que ne l'exige l'apprentissage supervisé passif.

L’intuition derrière la méthode

Imaginez un étudiant en médecine qui, au lieu de mémoriser chaque page d'un manuel, ne pose des questions au médecin traitant que sur les cas les plus déroutants. L'étudiant apprend plus vite en se concentrant sur l'incertitude plutôt qu'en passant en revue des exemples qu'il comprend déjà. L'apprentissage actif fonctionne de la même manière : le modèle identifie les exemples qui le laissent le plus perplexe, demande des étiquettes humaines pour ces instances spécifiques et se met à jour — répétant cette boucle jusqu'à ce que les performances soient satisfaisantes.

Histoire

Le concept de requête sélective d'exemples d'entraînement informatifs remonte à la conception expérimentale optimale de Fedorov (1972) et à l'apprentissage par requête de Cohn et al. (1994). Le domaine a été substantiellement unifié et popularisé par le rapport technique de Burr Settles en 2009, qui a catalogué les stratégies de requête, les bornes théoriques et les applications en NLP, bioinformatique et vision par ordinateur. L'apprentissage actif profond a émergé après 2016, les réseaux neuronaux devenant la classe de modèles dominante, ce qui a conduit à de nouvelles techniques d'estimation de l'incertitude.

Quand l’utiliser

L'apprentissage actif est le plus bénéfique lorsque les données non étiquetées sont abondantes mais que l'annotation par un expert est coûteuse, lente ou rare — ce qui est courant en imagerie médicale, classification de documents juridiques, curation de données scientifiques et traitement du langage naturel. Il suppose la disponibilité d'un oracle et que la stratégie de requête peut identifier de manière significative des exemples informatifs. Il est moins adapté lorsque le coût d'annotation est négligeable, le pool non étiqueté est petit, ou que la distribution des tâches change considérablement entre les requêtes. Les alternatives incluent l'apprentissage semi-supervisé (lorsque les étiquettes ne peuvent pas être obtenues interactivement) et l'auto-apprentissage (lorsque les requêtes d'oracle sont infaisables).

Limites et points d’attention

  • Les stratégies de requête peuvent introduire un biais d'échantillonnage, faisant que l'ensemble étiqueté ne soit pas représentatif de la véritable distribution des données.
  • Les gains de performance dépendent fortement du choix de la stratégie de requête, qui est spécifique à la tâche et au modèle.
  • Le ré-entraînement du modèle après chaque requête est coûteux en calcul pour les grands réseaux neuronaux.
  • Le bruit de l'oracle (désaccord ou erreurs de l'annotateur) peut dégrader les performances s'il n'est pas explicitement modélisé.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Réduit considérablement le coût d'étiquetage en concentrant l'effort d'annotation sur les exemples les plus informatifs.
  • Applicable à tout apprenant supervisé — classification, régression, prédiction structurée — sans modifier l'architecture du modèle sous-jacent.
  • Théoriquement fondé : l'échantillonnage par incertitude et la requête par comité ont des justifications PAC-learning et bayésiennes.
  • Compatible avec les flux de travail de crowdsourcing et les plateformes d'annotation modernes.

Applications

  • Annotation d'images médicales (radiologie, pathologie) où l'étiquetage par un expert est coûteux et rare.
  • Reconnaissance d'entités nommées et extraction de relations en NLP, réduisant les besoins en corpus étiquetés à la main.
  • Découverte de médicaments : sélection des candidats moléculaires à synthétiser et à tester.
  • Classification de la télédétection et des images satellites avec des étiquettes de vérité terrain limitées.
  • Conduite autonome : priorisation de l'annotation de scénarios de conduite rares ou critiques pour la sécurité.

Comment ça marche

Comment ça marche

1

Le processus commence par un grand ensemble d'exemples non étiquetés U et un ensemble étiqueté L initialement vide. Un modèle de base peut être pré-entraîné sur des données initiales étiquetées disponibles, ou initialisé aléatoirement. Cette séparation des données étiquetées et non étiquetées est l'hypothèse structurelle définissant l'apprentissage actif basé sur un pool.

Formule
\mathcal{U} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\}, \quad \mathcal{L} = \emptyset
2

À chaque itération, l'apprenant évalue chaque instance non étiquetée selon un critère d'informativité — ici, l'échantillonnage par incertitude sélectionne l'exemple dont la probabilité postérieure de classe maximale est la plus faible, indiquant une incertitude maximale du modèle. Les critères alternatifs incluent le désaccord de la requête par comité et le changement attendu du modèle.

Formule
\mathbf{x}^* = \arg\max_{\mathbf{x} \in \mathcal{U}} \phi(\mathbf{x}; \theta), \quad \phi(\mathbf{x}) = 1 - \max_{y} P_\theta(y \mid \mathbf{x})
3

L'instance sélectionnée x* est présentée à un oracle (expert humain, plateforme de crowdsourcing ou annotateur automatisé) qui fournit une étiquette y*. La nouvelle paire étiquetée est déplacée de U vers L, et le compteur du budget de requête est décrémenté. Le coût de l'oracle est généralement traité comme uniforme par requête.

Formule
y^* = \mathcal{O}(\mathbf{x}^*), \quad \mathcal{L} \leftarrow \mathcal{L} \cup \{(\mathbf{x}^*, y^*)\}, \quad \mathcal{U} \leftarrow \mathcal{U} \setminus \{\mathbf{x}^*\}
4

Les paramètres du modèle sont ré-entraînés (ou affinés) sur l'ensemble étiqueté actuel L en minimisant une perte empirique. Le modèle mis à jour ré-évalue ensuite le reste du pool, et le cycle requête-sélection-étiquetage-ré-entraînement se répète jusqu'à ce que le budget soit épuisé ou qu'un seuil de précision cible soit atteint.

Formule
\theta^* = \arg\min_\theta \frac{1}{|\mathcal{L}|} \sum_{(\mathbf{x},y) \in \mathcal{L}} \mathcal{L}_{\text{loss}}(f_\theta(\mathbf{x}), y)

Pièges courants

  • Problème de démarrage à froid : avec très peu d'étiquettes initiales, les estimations d'incertitude ne sont pas fiables, ce qui conduit à de mauvaises requêtes précoces.
  • L'apprentissage actif par lots peut sélectionner des instances redondantes si les corrélations inter-requêtes sont ignorées.
  • L'application de l'apprentissage actif aux réseaux neuronaux profonds avec incertitude basée sur le dropout (par exemple, MC Dropout) peut sous-estimer l'incertitude dans les régions hors distribution.
  • La comparaison des exécutions d'apprentissage actif entre différentes graines ou budgets de requête sans intervalles de confiance conduit à des conclusions trompeuses sur la supériorité des stratégies.

Questions fréquentes

En quoi l'apprentissage actif diffère-t-il de l'apprentissage semi-supervisé ?

L'apprentissage semi-supervisé exploite la structure des données non étiquetées (par exemple, clustering, hypothèses de variété) sans interroger un oracle, en mettant à jour le modèle à l'aide de pseudo-étiquettes ou de régularisation de cohérence. L'apprentissage actif demande explicitement de véritables étiquettes à un oracle pour des exemples sélectionnés. Les deux approches sont complémentaires et peuvent être combinées.

Quelle stratégie de requête dois-je utiliser en pratique ?

L'échantillonnage par incertitude est la base la plus largement utilisée et fonctionne bien pour les classificateurs binaires et multi-classes. La requête par comité est préférable lorsqu'un ensemble est déjà disponible. Le changement attendu du modèle ou BALD (Bayesian Active Learning by Disagreement) ont tendance à mieux performer pour les modèles profonds mais sont plus coûteux en calcul. Commencez par l'échantillonnage par incertitude et comparez avec des alternatives.

L'apprentissage actif peut-il être appliqué aux tâches de régression ?

Oui. Pour la régression, l'informativité est généralement mesurée par la variance prédictive (par exemple, à partir d'un processus gaussien ou d'un ensemble) plutôt que par l'entropie de probabilité de classe. L'apprenant interroge les points où la variance est la plus élevée. C'est une pratique courante en optimisation bayésienne et en conception d'expériences basée sur des modèles de substitution.

Méthodes associées

Sources

  1. Settles, B. (2009). Active learning literature survey. University of Wisconsin-Madison Computer Sciences Technical Report 1648.

    Ouvrir la référence de la publication
    Copié.