Skip to content
Retour aux résultats

Naive Bayes

Introduite par
Mitchell, T. M. (textbook treatment)
Année
1997
Type
Probabilistic classifier (Bayes' theorem with conditional independence)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Naive Bayes est un classifieur probabiliste rapide qui applique le théorème de Bayes tout en supposant que les caractéristiques sont conditionnellement indépendantes étant donné la classe — une méthode dont le traitement standard en apprentissage automatique est présenté dans le manuel de Tom Mitchell de 1997, Machine Learning.

Malgré cette hypothèse simplificatrice ('naïve'), il est rapide à entraîner et souvent étonnamment précis.

L’intuition derrière la méthode

Au lieu d'apprendre des interactions complexes entre les caractéristiques, Naive Bayes pose une question plus simple : étant donné chaque classe, quelle est la probabilité de chaque valeur de caractéristique isolément ? Il multiplie ensuite ces probabilités par caractéristique avec le taux de base de la classe et choisit la classe qui en résulte comme étant la plus probable. Prétendre que les caractéristiques n'interagissent pas rend les calculs triviaux et l'entraînement extrêmement rapide — et en pratique, le classifieur résultant classe toujours bien les classes, même lorsque l'hypothèse d'indépendance n'est pas strictement vraie.

Histoire

Les classifieurs Naive Bayes découlent de la théorie classique de décision bayésienne et sont devenus un pilier de l'apprentissage automatique appliqué, en particulier pour les tâches de classification de texte comme le filtrage de spam. La méthode reçoit son traitement standard dans le manuel de Tom Mitchell, Machine Learning (1997), qui présente la formulation du théorème de Bayes et l'hypothèse d'indépendance conditionnelle qui donnent son nom au classifieur.

Quand l’utiliser

Convient pour une classification rapide lorsque vous avez des caractéristiques catégorielles, binaires, continues ou textuelles et au moins environ 30 observations, surtout comme référence solide et peu coûteuse. Il est peu exigeant en termes d'hypothèses sur la distribution globale, mais chaque variante porte sa propre hypothèse de vraisemblance (par exemple, normalité intra-classe pour la variante Gaussienne), et il est sensible au déséquilibre des classes. Lorsque les caractéristiques sont fortement corrélées ou que vous avez besoin d'estimations d'effets calibrées, préférez la régression logistique.

Limites et points d’attention

  • L'hypothèse d'indépendance conditionnelle est rarement satisfaite, de sorte que les estimations de probabilité peuvent être mal calibrées même lorsque le classement est bon.
  • Sensible au déséquilibre des classes : les probabilités a priori doivent être ajustées ou les données rééchantillonnées.
  • Gaussian Naive Bayes se dégrade lorsque l'hypothèse de normalité intra-classe est violée.
  • Peu fiable avec de très petits échantillons, où les estimations de probabilité par classe ne sont pas fiables.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Extrêmement rapide à entraîner et à prédire, même sur des données volumineuses ou de haute dimensionnalité comme le texte.
  • Fonctionne bien comme référence simple et peu coûteuse et donne souvent des résultats étonnamment bons malgré son hypothèse naïve.
  • Gère les caractéristiques catégorielles, binaires, continues et textuelles grâce à ses différentes variantes.
  • Nécessite relativement peu de données d'entraînement pour estimer ses paramètres.

Applications

  • Classification de texte telle que le filtrage de spam et la catégorisation de documents.
  • Classification de référence rapide avant d'essayer des modèles plus complexes.
  • Classification avec des caractéristiques catégorielles, binaires, continues ou de comptage.
  • Problèmes de haute dimensionnalité où la vitesse d'entraînement est importante.

Comment ça marche

Comment ça marche

1

Selon le théorème de Bayes, la probabilité d'une classe étant donné les caractéristiques observées est proportionnelle à la probabilité a priori de la classe multipliée par la vraisemblance de ces caractéristiques sous cette classe. L'étape 'naïve' consiste à supposer que les caractéristiques sont conditionnellement indépendantes étant donné la classe, de sorte que la vraisemblance jointe se factorise en un simple produit de vraisemblances par caractéristique. Cette hypothèse est rarement satisfaite en pratique, pourtant les performances du classifieur peuvent être étonnamment bonnes.

Formule
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)
2

À partir des données d'entraînement, le modèle estime les probabilités a priori des classes (à quelle fréquence chaque classe est présente) et les vraisemblances par caractéristique. La forme de la vraisemblance dépend de la variante : Gaussian Naive Bayes suppose que les caractéristiques continues sont normalement distribuées au sein de chaque classe, tandis que Multinomial Naive Bayes convient aux comptages de fréquences de termes dans la classification de texte et n'accepte pas les valeurs négatives. Comme chaque classe est estimée séparément, il doit y avoir suffisamment d'observations par classe — au moins environ 30 au total.

3

Pour une nouvelle observation, le modèle combine la probabilité a priori avec le produit des vraisemblances par caractéristique pour chaque classe candidate et attribue la classe avec la probabilité résultante la plus élevée. Étant donné que les classes sont évaluées indépendamment, un jeu de données déséquilibré peut biaiser le résultat, de sorte que les probabilités a priori doivent être ajustées ou les données rééchantillonnées.

Formule
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)

Pièges courants

  • Faire confiance aux probabilités de sortie brutes comme étant calibrées plutôt que de les considérer comme un classement.
  • Ignorer le déséquilibre des classes au lieu d'ajuster les probabilités a priori ou de rééchantillonner.
  • Fournir des valeurs négatives à Multinomial Naive Bayes, ce qu'il n'accepte pas.
  • Appliquer Gaussian Naive Bayes à des caractéristiques continues clairement non normales sans vérification.
  • L'exécuter sur un jeu de données avec trop peu d'observations par classe (en dessous d'environ 30 au total).

Questions fréquentes

Pourquoi est-il appelé 'naïf' ?

Parce qu'il suppose que les caractéristiques sont conditionnellement indépendantes étant donné la classe — c'est-à-dire que connaître une caractéristique ne vous dit rien sur une autre au sein d'une classe. Ceci est rarement littéralement vrai, mais la simplification rend le modèle trivial à estimer et rapide à exécuter, et le classifieur classe souvent encore les classes avec précision.

Quelle variante dois-je utiliser ?

Gaussian Naive Bayes est pour les caractéristiques continues supposées normalement distribuées au sein de chaque classe. Multinomial Naive Bayes convient aux données de comptage ou de fréquence de termes, comme en classification de texte, et n'accepte pas les valeurs négatives. Adaptez la variante à votre type de caractéristique.

Puis-je faire confiance aux probabilités prédites ?

Utilisez la classe prédite avec précaution comme un classement. Parce que l'hypothèse d'indépendance est généralement violée, les probabilités brutes ont tendance à être poussées vers 0 ou 1 et sont souvent mal calibrées, même lorsque la classe choisie est correcte.

De combien de données a-t-il besoin ?

Il est économe en données, mais vous avez toujours besoin d'assez d'observations par classe — au moins environ 30 au total — afin que les probabilités a priori des classes et les vraisemblances par caractéristique puissent être estimées de manière fiable. En dessous de ce seuil, la régression logistique est un choix plus sûr.

Méthodes associées

Sources

  1. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.

    ISBN : 978-0070428072
    Copié.