Skip to content
Retour aux résultats

Bayes naïf semi-supervisé

Introduite par
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
Année
2000
Type
Semi-supervised generative classifier
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le Bayes naïf semi-supervisé étend le modèle génératif classique du Bayes naïf pour exploiter de grands ensembles de données non étiquetées en complément d'un petit ensemble étiqueté.

En utilisant l'algorithme Espérance-Maximisation (EM), il infère itérativement des assignations de classe "douces" (probabilistes) pour les exemples non étiquetés et réestime les paramètres de classe et de caractéristiques, produisant des classifieurs substantiellement meilleurs lorsque les exemples étiquetés sont rares.

L’intuition derrière la méthode

Le Bayes naïf classique nécessite des exemples étiquetés pour estimer les probabilités de classe et les vraisemblances de caractéristiques. Lorsque les étiquettes sont coûteuses mais que les données brutes sont abondantes, la majeure partie de l'information contenue dans les données reste inutilisée. Le Bayes naïf semi-supervisé résout ce problème en traitant les étiquettes inconnues des exemples non étiquetés comme des variables cachées : il alterne entre la prédiction de ces étiquettes étant donné le modèle actuel (étape E) et l'affinement du modèle en utilisant ces prédictions (étape M). Sur plusieurs itérations, le modèle s'auto-améliore pour atteindre une estimation de paramètres beaucoup plus précise que ce que les seules données étiquetées permettraient.

Histoire

Nigam, McCallum, Thrun et Mitchell (2000) ont popularisé le Bayes naïf semi-supervisé pour la classification de texte, démontrant que l'EM avec un modèle de Bayes naïf multinomial pouvait réduire de moitié les taux d'erreur sur des ensembles de données de référence lorsque des articles de groupes de discussion non étiquetés complétaient un petit ensemble étiqueté. L'approche s'est inspirée de travaux antérieurs sur l'EM pour les modèles de mélange et est devenue un exemple canonique dans la littérature sur l'apprentissage semi-supervisé, largement discutée dans Chapelle et al. (2006).

Quand l’utiliser

Idéal lorsque le nombre d'exemples étiquetés se situe entre quelques dizaines et quelques centaines, mais qu'une grande quantité de données non étiquetées provenant de la même distribution est disponible — une situation courante dans la classification de texte, le filtrage de spam et la catégorisation de documents biomédicaux. Les caractéristiques doivent être conditionnellement indépendantes étant donné la classe (ou approximativement), ce qui rend les représentations "sac de mots" et basées sur les comptes naturellement adaptées. À éviter lorsque les données non étiquetées proviennent d'une distribution différente de l'ensemble étiqueté (décalage de covariables), car les mises à jour EM peuvent nuire plutôt qu'aider ; le paramètre de pondération lambda doit être ajusté dans de tels cas. Également à éviter lorsque l'hypothèse d'indépendance conditionnelle est gravement violée et qu'un modèle discriminatif serait fortement préféré, quelle que soit la rareté des étiquettes.

Limites et points d’attention

  • Hérite de l'hypothèse d'indépendance conditionnelle du Bayes naïf ; les caractéristiques corrélées dégradent les estimations des paramètres.
  • L'algorithme EM converge vers un optimum local qui dépend de l'initialisation ; plusieurs redémarrages aléatoires peuvent être nécessaires.
  • Les données non étiquetées provenant d'une distribution décalée peuvent dégrader la précision (transfert négatif) à moins d'être soigneusement sous-pondérées.
  • Moins compétitif que les méthodes semi-supervisées discriminatives (par exemple, SVM transductif, propagation d'étiquettes) sur de petits ensembles de caractéristiques avec de fortes corrélations entre caractéristiques.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Exploite efficacement les données non étiquetées qui seraient autrement ignorées, réduisant souvent de manière drastique la quantité de données étiquetées nécessaires.
  • Rapide en termes de calcul : chaque itération EM est linéaire par rapport à la taille des données, ce qui le rend adapté aux grands corpus de texte.
  • Cadre probabiliste fondé sur des principes avec des garanties de convergence bien comprises (vers un optimum local de la vraisemblance).
  • Produit des probabilités postérieures calibrées, permettant le classement et le seuillage en aval.
  • Simple à implémenter et à étendre — la pondération lambda offre un levier pratique pour contrôler l'influence des données non étiquetées.

Applications

  • Classification de texte et de documents avec des données d'entraînement étiquetées limitées.
  • Détection de spam et de phishing où le spam étiqueté est rare mais les e-mails non étiquetés sont abondants.
  • Analyse de sentiment amorcée à partir d'une poignée d'avis étiquetés.
  • Catégorisation de la littérature biomédicale (par exemple, triage d'articles PubMed) avec de petits sous-ensembles étiquetés par des experts.
  • Classification thématique de pages web utilisant une petite graine étiquetée manuellement et de grands corpus explorés.
  • Routage d'e-mails ou de tickets où seule une fraction des tickets historiques a des étiquettes de catégorie confirmées.

Comment ça marche

Comment ça marche

1

Entraînez un modèle de Bayes naïf initial en utilisant uniquement les exemples étiquetés. Cela fournit les premières estimations des probabilités a priori de classe P(y) et des vraisemblances conditionnelles de caractéristiques P(x_j | y) — généralement avec un lissage de Laplace pour gérer les valeurs de caractéristiques non observées. Le modèle résultant est un point de départ pour la boucle EM plutôt qu'un classifieur final.

2

Appliquez le modèle actuel à chaque exemple non étiqueté pour calculer des poids d'appartenance de classe "doux" (probabilistes). Chaque document ou instance non étiqueté est assigné de manière fractionnaire à toutes les classes proportionnellement à la probabilité postérieure P(y | x, theta). Ces comptes fractionnaires complètent les comptes "durs" des données étiquetées.

Formule
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}
3

Réestimez tous les paramètres du modèle — probabilités a priori de classe et vraisemblances de caractéristiques — en regroupant les comptes "durs" des exemples étiquetés avec les comptes fractionnaires accumulés à l'étape E. Les exemples non étiquetés contribuent proportionnellement à leurs poids de classe inférés, de sorte que les données non étiquetées informatives modifient significativement les paramètres.

4

Répétez les étapes E et M jusqu'à ce que la log-vraisemblance de toutes les données (étiquetées et non étiquetées) converge ou qu'un nombre maximal d'itérations soit atteint. Un hyperparamètre de pondération lambda peut réduire la contribution des données non étiquetées si leur distribution diffère de celle des données étiquetées, protégeant ainsi contre le transfert négatif.

5

Une fois la convergence atteinte, classez les nouveaux exemples en utilisant la règle standard du Bayes naïf : assignez la classe avec la probabilité postérieure la plus élevée selon les paramètres appris. L'inférence en temps réel est identique à celle du Bayes naïf ordinaire — rapide, de forme fermée et adaptée aux grandes collections de documents.

Formule
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)

Pièges courants

  • Ignorer le décalage de distribution entre les ensembles étiquetés et non étiquetés — toujours vérifier que les deux échantillons proviennent de la même tâche et du même domaine.
  • Omettre l'ajustement de lambda lorsque la qualité des données non étiquetées est incertaine ; un lambda par défaut à 1 peut nuire aux performances.
  • Évaluer uniquement sur l'ensemble d'entraînement étiqueté sans ensemble de test réservé, ce qui gonfle la précision apparente.
  • Traiter la convergence EM comme une optimalité garantie — toujours comparer avec une base de référence étiquetée uniquement et une base de référence simple d'auto-apprentissage.
  • Oublier le lissage de Laplace, ce qui provoque des erreurs de probabilité nulle pour les valeurs de caractéristiques non observées pendant l'étape E.

Questions fréquentes

Combien d'exemples étiquetés ai-je besoin pour obtenir un bon modèle de départ ?

Aussi peu que 10 à 50 par classe peuvent suffire pour du texte avec de nombreuses caractéristiques, à condition que le lissage de Laplace soit appliqué. Plus d'exemples étiquetés sont toujours utiles, mais l'approche semi-supervisée brille particulièrement lorsque vous avez moins de quelques centaines d'instances étiquetées.

Qu'est-ce que le paramètre lambda et comment l'ajuster ?

Lambda contrôle le poids que les exemples non étiquetés reçoivent par rapport aux exemples étiquetés pendant l'étape M (lambda=1 les traite de manière égale ; lambda=0 les ignore). Ajustez-le par validation croisée sur l'ensemble étiqueté, en commençant par des valeurs dans {0.1, 0.3, 0.5, 1.0}. Réduisez lambda lorsque vous suspectez un décalage de distribution.

L'EM améliorera-t-il toujours un Bayes naïf étiqueté uniquement ?

Non. Si les données non étiquetées proviennent d'une distribution différente, l'EM peut déplacer les paramètres dans la mauvaise direction et augmenter l'erreur. Toujours comparer avec la base de référence étiquetée uniquement avant de déployer le modèle semi-supervisé.

En quoi cela diffère-t-il de l'auto-apprentissage avec le Bayes naïf ?

L'auto-apprentissage attribue des étiquettes "dures" aux exemples non étiquetés au-dessus d'un seuil de confiance, puis réentraîne le modèle. Le Bayes naïf semi-supervisé via EM attribue des étiquettes fractionnaires "douces" à tous les exemples non étiquetés à chaque itération, ce qui est statistiquement plus rigoureux et évite la cascade d'erreurs confiantes qui peut se produire en auto-apprentissage.

Est-ce adapté aux données tabulaires non textuelles ?

Oui. Pour les caractéristiques continues, remplacez la vraisemblance multinomiale par des vraisemblances gaussiennes (ou autres paramétriques) par classe. La structure de la boucle EM est identique ; seules les formules des paramètres de l'étape M changent.

Méthodes associées

Sources

  1. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.

    Ouvrir la référence DOI
    Copié.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN : 978-0-262-03358-9
    Copié.