Régression linéaire en ligne
- Introduite par
- Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
- Année
- 1960 (LMS); 1950 (RLS formalization)
- Type
- Incremental supervised regression
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La régression linéaire en ligne ajuste un modèle linéaire une observation à la fois, en mettant à jour les poids de manière incrémentielle à mesure que chaque nouveau point de données arrive.
Contrairement aux moindres carrés par lots, elle n'a jamais besoin de stocker ou de retraiter l'ensemble complet des données, ce qui en fait le choix naturel pour les données en flux continu, les très grands ensembles de données et les environnements où le processus de génération de données peut évoluer au fil du temps.
L’intuition derrière la méthode
Imaginez ajuster les curseurs d'un prédicteur linéaire après chaque mesure individuelle, plutôt que d'attendre de collecter toutes les données au préalable. Chaque nouvelle observation vous indique à quel point votre estimation actuelle était erronée, et vous déplacez le vecteur de poids d'un petit pas dans la direction qui aurait réduit cette erreur. Au fil de nombreuses observations, les poids convergent vers des valeurs proches de la solution des moindres carrés ordinaires — mais vous y êtes parvenu sans jamais charger tout l'ensemble de données en mémoire, et vous pouvez continuer à vous adapter si la relation sous-jacente dérive.
Histoire
Les fondements théoriques remontent à la méthode des moindres carrés de Gauss (début du XIXe siècle) et à la formulation récursive de Plackett en 1950. La variante pratique en ligne a émergé avec l'algorithme des moindres carrés moyens (LMS) de Widrow et Hoff en 1960, initialement développé pour le traitement adaptatif du signal. La théorie de l'optimisation convexe en ligne, formalisée par Zinkevich (2003) et examinée de manière exhaustive par Shalev-Shwartz (2012), a placé la régression linéaire en ligne dans un cadre rigoureux de minimisation du regret et a démontré ses garanties de convergence quasi optimales.
Quand l’utiliser
Utiliser la régression linéaire en ligne lorsque les données arrivent sous forme de flux continu et que les prédictions doivent être servies immédiatement, lorsque l'ensemble de données est trop volumineux pour tenir en mémoire pour un ajustement par lots, ou lorsque la relation entre les prédicteurs et le résultat peut dériver au fil du temps et que le modèle doit s'adapter. C'est également un bon choix comme référence légère dans les systèmes de production en temps réel. L'éviter lorsque la relation est fortement non linéaire, lorsque l'ingénierie des caractéristiques doit être effectuée de manière holistique sur l'ensemble complet des données, ou lorsque vous avez besoin de coefficients OLS exacts avec des intervalles de confiance pour l'inférence statistique — utiliser la régression linéaire par lots dans ces cas.
Limites et points d’attention
- Sensible au choix du taux d'apprentissage : trop grand provoque des oscillations, trop petit entraîne une convergence lente.
- Ne fournit pas d'erreurs standard en forme fermée ni de valeurs p, donc l'inférence statistique classique n'est pas directement disponible.
- Peut avoir des difficultés avec des caractéristiques fortement corrélées (multicolinéarité) à moins d'ajouter une régularisation L2.
- Les performances se dégradent par rapport à l'OLS par lots lorsque toutes les données sont disponibles et qu'il n'y a pas de dérive conceptuelle.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Traite les données une observation à la fois avec une mémoire de O(p), où p est le nombre de caractéristiques — aucun ensemble de données complet requis.
- S'adapte continuellement à la dérive conceptuelle, ce qui la rend adaptée aux environnements non stationnaires tels que les séries temporelles financières ou les flux de capteurs.
- Calcul peu coûteux par mise à jour : un seul produit scalaire et une addition de vecteurs de poids.
- Naturellement parallélisable sur plusieurs flux ou partitions.
- Produit des prédictions en temps réel sans attendre un réajustement par lots.
Applications
- Prédiction de prix en temps réel et prévision de la demande dans les marchés du commerce électronique et de l'énergie.
- Traitement adaptatif du signal et annulation du bruit à l'aide des moindres carrés récursifs.
- Mise à jour continue du modèle dans les environnements IoT et de réseaux de capteurs où les réajustements par lots sont infaisables.
- Régression sur des données de cotation financière où le processus de génération de données change fréquemment.
- Poids des caractéristiques des systèmes de recommandation à grande échelle mis à jour à mesure que les événements utilisateur arrivent.
- Modèle de flux continu de référence dans les pipelines AutoML avant que des modèles plus complexes ne soient envisagés.
Comment ça marche
Comment ça marche
Définir le vecteur de poids à zéro (ou une petite valeur aléatoire) et choisir un taux d'apprentissage eta qui contrôle la taille du pas. Initialiser éventuellement un terme de régularisation tel que L2 (Ridge) pour éviter que les poids ne croissent sans limite dans les flux non stationnaires.
Formule
\mathbf{w}_0 = \mathbf{0},\; \eta > 0Pour chaque observation x_t arrivante, calculer la sortie prédite comme le produit scalaire du vecteur de poids actuel avec le vecteur de caractéristiques. Cette prédiction est faite avant que l'étiquette vraie y_t ne soit révélée, reflétant la nature séquentielle des scénarios de flux réels.
Formule
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_tAprès la révélation de l'étiquette vraie, calculer l'erreur de prédiction au carré. Cette perte instantanée pilote le signal de gradient ; le gradient de la perte au carré par rapport aux poids est simplement l'erreur multipliée par le vecteur de caractéristiques.
Formule
\ell_t = (y_t - \hat{y}_t)^2Appliquer la règle de mise à jour des moindres carrés (LMS, Least Mean Squares) : déplacer les poids dans la direction du gradient négatif de la perte. La taille du pas eta contrôle le compromis entre la vitesse d'adaptation et la sensibilité au bruit. Un eta plus petit entraîne une convergence plus douce ; un eta plus grand s'adapte plus rapidement mais risque des oscillations.
Formule
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_tTraiter l'observation suivante immédiatement, ou mettre en mémoire tampon un petit mini-lot pour une variante en ligne par mini-lots. Dans les environnements non stationnaires, un taux d'apprentissage décroissant ou un facteur d'oubli à fenêtre glissante maintient le modèle réactif à la dérive conceptuelle. Aucun réajustement complet n'est jamais requis.
Pièges courants
- Utiliser un taux d'apprentissage fixe sur des données avec des échelles de caractéristiques très différentes — toujours standardiser les caractéristiques en ligne (par exemple, moyenne et variance courantes) avant la mise à jour.
- Oublier d'ajouter une régularisation dans des contextes de haute dimensionnalité ou de quasi-colinéarité, ce qui permet aux poids de diverger sur des flux épars.
- Traiter les poids en ligne comme équivalents aux estimations OLS et les rapporter avec des intervalles de confiance OLS — ils ne sont pas identiques.
- Ignorer la détection de dérive conceptuelle : si la distribution des données change brusquement, un taux d'apprentissage fixe peut suivre le bruit plutôt que le signal.
- Évaluer la précision uniquement à la fin d'un long flux au lieu d'utiliser une évaluation préquentielle (tester puis entraîner) tout au long du processus.
Questions fréquentes
Comment la régression linéaire en ligne diffère-t-elle de la régression linéaire standard (par lots) ?
La régression linéaire par lots résout les équations normales sur l'ensemble des données en une seule fois, donnant la solution OLS exacte. La régression linéaire en ligne met à jour les poids de manière incrémentielle après chaque observation en utilisant une étape de gradient, convergeant vers une solution proche de l'OLS sans jamais charger toutes les données — au prix de la perte de statistiques d'inférence exactes.
Quel taux d'apprentissage dois-je utiliser ?
Un point de départ courant est eta = 0,01 divisé par la norme au carré attendue des vecteurs de caractéristiques. La recherche par grille ou les méthodes adaptatives (AdaGrad, Adam) ajustent automatiquement le taux d'apprentissage par caractéristique et sont souvent plus faciles à régler qu'un taux global fixe.
La régression linéaire en ligne peut-elle gérer la dérive conceptuelle ?
Oui. Un taux d'apprentissage constant (non décroissant) maintient le modèle réactif à la dérive. Pour les changements brusques, des tests explicites de détection de dérive (par exemple, ADWIN) peuvent déclencher une réinitialisation partielle des poids. Un taux décroissant est préférable lorsque la relation est stationnaire et que vous souhaitez une convergence éventuelle.
La régularisation est-elle possible dans le cadre en ligne ?
Oui. L'ajout d'une pénalité L2 donne la mise à jour en ligne Ridge (Tikhonov) : soustraire une petite fraction du vecteur de poids actuel à chaque étape. Cela empêche les poids de devenir grands sur des flux épars ou bruyants et est fortement recommandé dans les contextes de haute dimensionnalité.
Comment évaluer équitablement un modèle en ligne ?
Utiliser l'évaluation préquentielle (tester puis entraîner) : enregistrer l'erreur de prédiction sur chaque observation avant de l'utiliser pour mettre à jour le modèle. Cela donne une estimation séquentielle non biaisée de l'erreur de généralisation sans ensemble de test distinct réservé.
Méthodes associées
Sources
Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.
Ouvrir la référence DOICopié.Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.
ISBN : 978-0130901262Copié.