Skip to content
Retour aux résultats

Apprentissage en ligne

Introduite par
Rosenblatt, F.; Littlestone, N.; Shalev-Shwartz, S. (key contributors)
Année
1958–2000s
Type
Learning paradigm (sequential model update)
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'apprentissage en ligne est un paradigme d'apprentissage automatique dans lequel un modèle est mis à jour de manière incrémentielle à mesure que chaque nouvelle donnée arrive, plutôt que d'être entraîné une seule fois sur un ensemble de données fixe.

Il est essentiel lorsque les données arrivent en flux continu, que le stockage est limité ou que la distribution sous-jacente évolue au fil du temps. La performance théorique est mesurée par le regret cumulé par rapport au meilleur prédicteur fixe connu a posteriori.

L’intuition derrière la méthode

Dans l'apprentissage par lots classique, vous collectez toutes les données d'abord, puis vous entraînez. L'apprentissage en ligne inverse cela : le modèle reçoit un exemple à la fois, fait une prédiction, observe le résultat réel et se met à jour immédiatement. Pensez à un trader qui ajuste sa stratégie après chaque transaction plutôt que d'attendre la fin de l'année. La garantie théorique clé est un faible regret — sur de nombreuses itérations, la perte totale de l'apprenant en ligne est presque aussi faible que celle de la meilleure stratégie statique unique choisie a posteriori.

Histoire

Le paradigme de l'apprentissage en ligne remonte au Perceptron de Rosenblatt (1958) et a été formalisé théoriquement par Littlestone (modèle de la borne d'erreurs, 1988) et Freund & Schapire (Winnow, Hedge, années 1990). Le cadre de l'optimisation convexe en ligne, unifiant l'analyse du regret à travers de nombreux algorithmes, a été développé par Zinkevich (2003) et largement revu par Shalev-Shwartz (2011). Les variantes FTRL et AdaGrad alimentent des systèmes industriels à grande échelle dans des entreprises comme Google.

Quand l’utiliser

Utilisez l'apprentissage en ligne lorsque les données arrivent sous forme de flux continu et que le réentraînement à partir de zéro est impraticable ; lorsque la distribution des données change au fil du temps (dérive conceptuelle) et que le modèle doit s'adapter sans réentraînement complet ; ou lorsque les contraintes de stockage et de mémoire empêchent de conserver l'ensemble de données complet. Il convient aux systèmes de recommandation, à la détection de fraude, aux pipelines de traitement du langage naturel et aux applications de données de capteurs. NE L'UTILISEZ PAS lorsque le volume de données est faible et statique (l'apprentissage par lots est plus simple et tout aussi efficace), lorsque l'ensemble de données complet doit être vu plusieurs fois pour la convergence (par exemple, réseaux neuronaux profonds sur de petits ensembles), ou lorsque la reproductibilité et les pipelines d'évaluation hors ligne sont critiques et que l'infrastructure de streaming n'est pas disponible.

Limites et points d’attention

  • Sensible au choix du taux d'apprentissage et des hyperparamètres ; des taux inappropriés entraînent une convergence lente ou une instabilité.
  • La performance à un instant donné dépend de l'ordre des exemples, rendant les résultats sensibles à cet ordre.
  • Les métriques d'évaluation par lots (validation croisée, ensembles de test séparés) ne s'appliquent pas directement ; une évaluation préquentielle est nécessaire à la place.
  • L'entraînement des réseaux neuronaux profonds nécessite généralement plusieurs passages sur les données (époques), ce qui est en conflit avec les paramètres stricts d'un seul passage en ligne.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Gère les flux de données illimités avec une mémoire constante, ce qui le rend évolutif pour des ensembles de données massifs ou infinis.
  • S'adapte automatiquement à la dérive conceptuelle et aux changements de distribution sans déclencheurs de réentraînement explicites.
  • Fournit de solides garanties théoriques via des bornes de regret, quantifiant la performance dans le pire des cas par rapport à tout concurrent fixe.
  • Les mises à jour à faible latence le rendent adapté aux applications en temps réel et sensibles au temps.
  • De nombreux algorithmes (SGD, AdaGrad, FTRL) ont des propriétés de convergence et de regret bien comprises.

Applications

  • Prédiction du taux de clics en temps réel et publicité en ligne (FTRL-Proximal à l'échelle de Google).
  • Détection de fraude et d'anomalies sur des flux de transactions financières nécessitant des mises à jour immédiates du modèle.
  • Pipelines de traitement du langage naturel sur des flux d'actualités ou de médias sociaux avec un vocabulaire évolutif.
  • Classification de données de capteurs et d'IoT où le volume de données exclut le stockage par lots.
  • Systèmes de recommandation qui doivent s'adapter instantanément aux changements de préférences des utilisateurs.
  • Filtrage adaptatif de spam où la définition du spam évolue continuellement.

Comment ça marche

Comment ça marche

1

À chaque pas de temps t, l'apprenant reçoit un nouveau vecteur de caractéristiques x_t du flux de données. L'instance est traitée immédiatement et n'est pas stockée de manière permanente, ce qui rend ce paradigme économe en mémoire, même pour des flux de données illimités.

2

Le modèle actuel f_t produit une prédiction pour x_t avant que l'étiquette réelle ne soit révélée. Le modèle peut être un classifieur linéaire, un petit réseau neuronal, une règle de décision ou toute fonction paramétrique maintenue en mémoire.

Formule
\hat{y}_t = f_t(x_t)
3

Après avoir prédit, l'apprenant observe l'étiquette réelle y_t et calcule la perte. Ce signal de rétroaction quantifie à quel point la prédiction actuelle était erronée et pilote la mise à jour ultérieure des paramètres.

Formule
\ell_t = \ell(\hat{y}_t, y_t)
4

Les paramètres du modèle sont mis à jour en utilisant le gradient de la perte par rapport aux paramètres actuels, mis à l'échelle par un taux d'apprentissage. Les algorithmes courants incluent Perceptron, Descente de Gradient Stochastique (SGD), AdaGrad et Follow-the-Regularized-Leader (FTRL).

Formule
w_{t+1} = w_t - \eta_t \nabla \ell_t
5

La performance est évaluée par le regret cumulé : la différence entre la perte totale de l'apprenant en ligne et la perte totale du meilleur prédicteur fixe connu a posteriori. Une croissance du regret sous-linéaire (par exemple, O(sqrt(T))) garantit que l'apprenant converge vers un comportement quasi optimal.

Formule
R_T = \sum_{t=1}^{T} \ell_t - \min_{f} \sum_{t=1}^{T} \ell(f(x_t), y_t)

Pièges courants

  • Utiliser un taux d'apprentissage fixe alors qu'AdaGrad ou un calendrier décroissant est nécessaire — entraîne soit un apprentissage lent, soit une divergence.
  • Ignorer la surveillance de la dérive conceptuelle : même les modèles en ligne peuvent accuser un retard par rapport aux changements soudains de distribution s'ils ne sont pas explicitement suivis.
  • Confondre 'apprentissage en ligne' avec l'apprentissage en ligne (e-learning) ; le sens de l'apprentissage automatique est strictement la mise à jour incrémentielle du modèle.
  • Évaluer avec une validation croisée par lots au lieu d'une évaluation préquentielle (test-puis-entraînement), ce qui surestime ou sous-estime la performance.
  • Appliquer l'apprentissage en ligne à des ensembles de données statiques de petite taille où des méthodes par lots plus simples avec une validation croisée appropriée sont plus pertinentes.

Questions fréquentes

L'apprentissage en ligne est-il la même chose que la descente de gradient stochastique ?

SGD est l'algorithme d'optimisation le plus couramment utilisé dans l'apprentissage en ligne, mais ils ne sont pas identiques. L'apprentissage en ligne est un paradigme (traiter un exemple, mettre à jour, passer au suivant) ; SGD est une règle de mise à jour. L'apprentissage en ligne peut utiliser d'autres règles de mise à jour telles que Perceptron, AdaGrad ou FTRL.

Comment évaluer un modèle entraîné avec l'apprentissage en ligne ?

Utilisez l'évaluation préquentielle (également appelée test-puis-entraînement) : pour chaque exemple arrivant, prédisez d'abord, enregistrez l'erreur, puis mettez à jour. La moyenne mobile des erreurs donne une estimation non biaisée de la performance en temps réel sans nécessiter d'ensemble de test séparé.

Comment l'apprentissage en ligne gère-t-il la dérive conceptuelle ?

Parce que les paramètres sont mis à jour après chaque exemple, le modèle suit naturellement les changements lents de distribution. Pour une dérive abrupte, détectée explicitement en surveillant les taux d'erreur ou les tests statistiques (par exemple, DDM, ADWIN), un taux d'apprentissage plus élevé ou une réinitialisation du modèle peut être nécessaire.

Qu'est-ce que le regret et pourquoi est-il important ?

Le regret est la perte supplémentaire cumulée encourue par l'algorithme en ligne par rapport au meilleur prédicteur fixe choisi avec une connaissance complète a posteriori. Un regret sous-linéaire (croissant plus lentement que T) garantit que la perte moyenne par itération converge vers l'optimum, fournissant un certificat rigoureux de performance dans le pire des cas.

Les réseaux neuronaux profonds peuvent-ils être entraînés en ligne ?

Oui, mais avec des réserves. Les DNN nécessitent généralement plusieurs époques sur les données pour une convergence stable, ce qui est en conflit avec les contraintes strictes d'un seul passage en ligne. En pratique, le SGD par mini-lots en flux est utilisé comme compromis — traitant des lots récents de quelques exemples avant de mettre à jour les poids.

Méthodes associées

Sources

  1. Shalev-Shwartz, S. (2011). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    Ouvrir la référence DOI
    Copié.
  2. Cesa-Bianchi, N. & Lugosi, G. (2006). Prediction, Learning, and Games. Cambridge University Press.

    ISBN : 978-0-521-84108-5
    Copié.