Naive Bayes en ligne
- Introduite par
- Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
- Année
- 2000s
- Type
- Probabilistic classifier (online/incremental)
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Naive Bayes en ligne est une adaptation incrémentale du classifieur classique Naive Bayes qui met à jour ses statistiques conditionnelles de classe une observation (ou un mini-lot) à la fois, ce qui le rend bien adapté aux flux de données, aux très grands ensembles de données qui ne peuvent pas être conservés en mémoire, et aux environnements où le modèle doit s'adapter continuellement à mesure que de nouveaux exemples étiquetés arrivent.
L’intuition derrière la méthode
Naive Bayes classique lit toutes les données d'entraînement en une seule fois, calcule les probabilités a priori des classes et les vraisemblances des caractéristiques, puis fige ses paramètres. Naive Bayes en ligne maintient plutôt des décomptes courants ou des statistiques suffisantes (moyennes, variances, fréquences des caractéristiques) qui sont mises à jour de manière incrémentale avec chaque nouvel exemple. Étant donné que l'hypothèse d'indépendance conditionnelle de Naive Bayes signifie que la vraisemblance se factorise en termes par caractéristique, les statistiques de chaque caractéristique peuvent être mises à jour indépendamment et à moindre coût, ce qui rend le modèle naturellement adapté à l'apprentissage en une seule passe sur des flux sans sacrifier le mécanisme de prédiction probabiliste.
Histoire
Naive Bayes a des racines dans les statistiques bayésiennes remontant au 18ème siècle, mais son utilisation comme classifieur de texte a été popularisée dans les années 1990 (par exemple, McCallum & Nigam, 1998). La variante en ligne/incrémentale a suscité une attention systématique de la part de la communauté de l'exploration de données de flux au début des années 2000, notamment grâce aux travaux de Domingos et Hulten sur l'exploration de flux de données à haute vitesse (KDD 2000). Il est maintenant un composant standard des boîtes à outils de traitement de flux et est exposé directement dans scikit-learn via l'API partial_fit.
Quand l’utiliser
Utilisez Naive Bayes en ligne lorsque les données arrivent sous forme de flux ou sont trop volumineuses pour être chargées en mémoire en une seule fois, lorsque des mises à jour incrémentales rapides et à faible consommation de mémoire sont nécessaires, ou lorsque le modèle doit s'adapter continuellement à de nouveaux exemples (par exemple, classification de texte de flux en direct, filtrage de spam, ou classification d'événements dans des pipelines IoT). C'est également une base solide pour les données textuelles éparses de haute dimension (sac de mots, TF-IDF) dans des environnements de flux. Ne l'utilisez pas lorsque l'hypothèse d'indépendance conditionnelle est sévèrement violée et qu'il y a suffisamment de données pour entraîner un modèle plus expressif en mode batch, lorsque les caractéristiques sont fortement corrélées et que la capture des interactions est critique, ou lorsque les distributions de classes sont extrêmement déséquilibrées sans correction.
Limites et points d’attention
- L'hypothèse naïve d'indépendance conditionnelle est rarement satisfaite exactement et peut nuire à la précision lorsque les caractéristiques sont fortement corrélées.
- Ne peut pas apprendre les interactions entre caractéristiques ; chaque caractéristique contribue indépendamment à la probabilité a posteriori.
- La dérive du concept nécessite des mécanismes d'oubli explicites (par exemple, fenêtres glissantes, facteurs de décroissance) car le modèle par défaut accumule toutes les preuves historiques.
- Naive Bayes gaussien suppose des distributions de caractéristiques par classe unimodales, approximativement gaussiennes, ce qui peut ne pas être le cas.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Traite un exemple à la fois avec un coût de mise à jour de O(1) par caractéristique, ce qui le rend extrêmement rapide et économe en mémoire pour les données de flux.
- Naturellement probabiliste : produit des probabilités a posteriori de classe calibrées, pas seulement des étiquettes dures.
- Évolutif vers des espaces de caractéristiques de très haute dimension (par exemple, texte) sans pénalité de vitesse significative.
- Pas besoin de stocker de données historiques ; le modèle est entièrement défini par ses statistiques suffisantes.
- Simple à implémenter et à comprendre ; l'hypothèse d'indépendance conditionnelle fonctionne souvent mieux que prévu en pratique.
Applications
- Détection de spam et de phishing en temps réel sur des flux d'e-mails ou de messages.
- Classification de texte incrémentale sur des flux d'actualités en direct ou des médias sociaux.
- Classification d'événements de capteurs dans des systèmes IoT où les données arrivent en continu.
- Classifieur de référence pour les espaces de caractéristiques sac de mots ou TF-IDF de haute dimension.
- Analyse de sentiments en ligne sur des flux d'avis clients ou de publications sociales.
- Toute tâche de classification trop volumineuse pour tenir en mémoire où un modèle probabiliste rapide est acceptable.
Comment ça marche
Comment ça marche
Les probabilités a priori des classes P(C_k) = N_k / N sont initialisées à partir des données étiquetées disponibles au démarrage (ou définies uniformément). Les statistiques suffisantes par caractéristique — décomptes pour les caractéristiques catégorielles, moyenne et variance courantes pour les caractéristiques gaussiennes — sont initialisées de manière similaire.
Formule
P(C_k) = N_k / N
Lorsqu'un nouvel exemple étiqueté (x, y) arrive, le décompte de la classe N_y est incrémenté de un et les statistiques suffisantes pour chaque caractéristique x_i sous la classe y sont mises à jour : les décomptes sont incrémentés pour les caractéristiques de Bernoulli ou Multinomiales, et la moyenne et la variance courantes sont mises à jour à l'aide de l'algorithme en ligne de Welford pour les caractéristiques gaussiennes. Aucun ancien exemple n'a besoin d'être revu.
Au moment de la prédiction (ou après chaque mise à jour), les vraisemblances par caractéristique P(x_i | C_k) sont calculées à partir des statistiques suffisantes actuelles. Pour Naive Bayes gaussien, la fonction de densité de probabilité gaussienne est évaluée ; pour les variantes multinomiales ou de Bernoulli, des rapports de fréquences lissés sont utilisés.
Formule
P(x_i | C_k)
La probabilité a posteriori pour chaque classe est calculée comme le produit de la probabilité a priori de la classe et de toutes les vraisemblances par caractéristique, puis la classe avec la probabilité a posteriori la plus élevée est retournée. Comme les logarithmes sont utilisés en pratique, cela devient une somme et évite le sous-dépassement numérique.
Formule
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)Pièges courants
- Oubli d'appliquer le lissage de Laplace (ajout de un) pour les variantes multinomiales/de Bernoulli, ce qui pose des problèmes de probabilité nulle pour les valeurs de caractéristiques non vues.
- Ignorer la dérive du concept : sans stratégie d'oubli ou de fenêtrage, le modèle devient lentement obsolète sur des flux non stationnaires.
- Utiliser Naive Bayes gaussien pour des données de comptage (par exemple, décomptes de mots) au lieu de Naive Bayes multinomial.
- Traiter les probabilités du modèle comme parfaitement calibrées sans vérification ; une régression isotonique ou une mise à l'échelle de Platt peut être nécessaire.
- Évaluer uniquement sur la précision lorsque le déséquilibre des classes est présent ; utiliser la précision, le rappel et le F1 par classe.
Questions fréquentes
Comment Naive Bayes en ligne gère-t-il la dérive du concept ?
Par défaut, il accumule toutes les preuves, donc il s'adapte lentement à la dérive. Pour réagir plus rapidement, appliquez une fenêtre glissante (ne comptez que les exemples récents), un oubli exponentiel (pondérez moins les observations plus anciennes), ou réinitialisez les statistiques suffisantes lorsque la dérive est détectée.
Quelle variante dois-je utiliser — Gaussienne, Multimoniale ou de Bernoulli ?
Utilisez Naive Bayes multinomial ou de Bernoulli pour le texte (vecteurs de caractéristiques binaires ou de comptage) et Naive Bayes gaussien pour les caractéristiques continues qui sont approximativement normalement distribuées au sein de chaque classe. La logique de mise à jour en ligne diffère légèrement, mais toutes les variantes prennent en charge les mises à jour incrémentales.
Naive Bayes en ligne est-il compétitif avec des modèles en ligne plus complexes ?
Sur du texte épars de haute dimension, il est souvent compétitif avec la régression logistique en ligne ou les SVM en ligne, avec un coût de calcul inférieur. Sur des ensembles de caractéristiques denses, de faible dimension, ou fortement corrélés, la régression logistique en ligne ou le gradient boosting les surpassent généralement.
Comment dois-je évaluer un classifieur en ligne ?
Utilisez l'évaluation préquentielle (tester puis entraîner) : prédisez chaque exemple avant de mettre à jour le modèle, puis mettez à jour. Cela donne une estimation non biaisée des performances en flux sans ensemble de validation séparé.
Puis-je initialiser Naive Bayes en ligne à partir d'un modèle entraîné en batch ?
Oui. Entraînez un modèle Naive Bayes en batch sur un ensemble de données initial pour obtenir de bonnes statistiques suffisantes de départ, puis passez aux mises à jour incrémentales. Cette approche de démarrage à chaud évite l'imprécision du démarrage à froid d'un modèle initialisé aléatoirement.
Méthodes associées
Sources
Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.
Ouvrir la référence DOICopié.Online machine learning. Wikipedia.
Ouvrir la référence de la publicationCopié.