Saltar al contenido
Volver a los resultados

Naive Bayes Semi-supervisado

Propuesto por
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
Año
2000
Tipo
Semi-supervised generative classifier
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Naive Bayes Semi-supervisado extiende el modelo generativo clásico de Naive Bayes para explotar grandes cantidades de datos no etiquetados junto con un pequeño conjunto etiquetado.

Utilizando Expectation-Maximization (EM), infiere iterativamente asignaciones de clase suaves para ejemplos no etiquetados y reestima los parámetros de clase y características, produciendo clasificadores sustancialmente mejores cuando los ejemplos etiquetados son escasos.

La intuición detrás del método

El Naive Bayes clásico necesita ejemplos etiquetados para estimar las probabilidades de clase y las verosimilitudes de características. Cuando las etiquetas son costosas pero los datos brutos son abundantes, la mayor parte de la información de los datos no se utiliza. Naive Bayes Semi-supervisado soluciona esto tratando las etiquetas desconocidas de los ejemplos no etiquetados como variables ocultas: alterna entre adivinar esas etiquetas dado el modelo actual (paso E) y refinar el modelo utilizando esas suposiciones (paso M). A lo largo de varias iteraciones, el modelo se auto-impulsa a una estimación de parámetros mucho más precisa de lo que los datos etiquetados por sí solos podrían soportar.

Historia

Nigam, McCallum, Thrun y Mitchell (2000) popularizaron Naive Bayes Semi-supervisado para la clasificación de texto, demostrando que EM con un modelo multinomial de Naive Bayes podía reducir a la mitad las tasas de error en conjuntos de datos de referencia cuando los artículos de grupos de noticias no etiquetados complementaban un pequeño conjunto etiquetado. El enfoque se basó en trabajos anteriores de EM para modelos de mezcla y se convirtió en un ejemplo canónico en la literatura de aprendizaje semi-supervisado, ampliamente discutido en Chapelle et al. (2006).

Cuándo usarlo

Ideal cuando el número de ejemplos etiquetados es de decenas a unos pocos cientos, pero hay disponibles grandes cantidades de datos no etiquetados de la misma distribución — una situación común en la clasificación de texto, filtrado de spam y categorización de documentos biomédicos. Las características deben ser condicionalmente independientes dada la clase (o aproximadamente así), lo que hace que las representaciones de bolsa de palabras y basadas en recuentos sean ajustes naturales. Evitar cuando los datos no etiquetados provienen de una distribución diferente a la del conjunto etiquetado (desplazamiento de covariables), ya que las actualizaciones EM pueden perjudicar en lugar de ayudar; el parámetro de ponderación λ debe ajustarse en tales casos. También evitar cuando la suposición de independencia condicional se viola gravemente y se preferiría un modelo discriminativo independientemente de la escasez de etiquetas.

Limitaciones y consideraciones

  • Hereda la suposición de independencia condicional de Naive Bayes; las características correlacionadas degradan las estimaciones de parámetros.
  • EM converge a un óptimo local que depende de la inicialización; pueden ser necesarios múltiples reinicios aleatorios.
  • Los datos no etiquetados de una distribución desplazada pueden degradar la precisión (transferencia negativa) a menos que se ponderen cuidadosamente.
  • Menos competitivo que los métodos semi-supervisados discriminativos (por ejemplo, SVM transductivo, propagación de etiquetas) en conjuntos de características pequeños con fuertes correlaciones de características.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprovecha eficientemente los datos no etiquetados que de otro modo se descartarían, a menudo reduciendo drásticamente los datos etiquetados necesarios.
  • Computacionalmente rápido: cada iteración EM es lineal en el tamaño de los datos, lo que lo hace adecuado para grandes corpus de texto.
  • Marco probabilístico con principios y garantías de convergencia bien entendidas (a un óptimo local de la verosimilitud).
  • Produce probabilidades posteriores calibradas, permitiendo el ranking y umbralización posteriores.
  • Simple de implementar y extender — la ponderación λ proporciona un control práctico para la influencia de los datos no etiquetados.

Aplicaciones

  • Clasificación de texto y documentos con datos de entrenamiento etiquetados limitados.
  • Detección de spam y phishing donde el spam etiquetado es escaso pero el correo electrónico no etiquetado es abundante.
  • Análisis de sentimiento auto-impulsado a partir de un puñado de reseñas etiquetadas.
  • Categorización de literatura biomédica (por ejemplo, triaje de artículos de PubMed) con pequeños subconjuntos etiquetados por expertos.
  • Clasificación de temas de páginas web utilizando una pequeña semilla etiquetada manualmente y grandes corpus rastreados.
  • Enrutamiento de correos electrónicos o tickets donde solo una fracción de los tickets históricos tienen etiquetas de categoría confirmadas.

Cómo funciona

Cómo funciona

1

Entrenar un modelo inicial de Naive Bayes utilizando únicamente los ejemplos etiquetados. Esto proporciona las primeras estimaciones de las probabilidades a priori de clase P(y) y las verosimilitudes condicionales de características P(x_j | y) — típicamente con suavizado de Laplace para manejar valores de características no vistos. El modelo resultante es un punto de partida para el bucle EM en lugar de un clasificador final.

2

Aplicar el modelo actual a cada ejemplo no etiquetado para calcular pesos de pertenencia de clase suaves (probabilísticos). Cada documento o instancia no etiquetada se asigna fraccionalmente a todas las clases en proporción a la probabilidad posterior P(y | x, θ). Estos recuentos fraccionales complementan los recuentos duros de los datos etiquetados.

Fórmula
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}
3

Reestimar todos los parámetros del modelo — probabilidades a priori de clase y verosimilitudes de características — combinando los recuentos duros de los ejemplos etiquetados con los recuentos fraccionales acumulados en el paso E. Los ejemplos no etiquetados contribuyen en proporción a sus pesos de clase inferidos, por lo que los datos no etiquetados informativos desplazan los parámetros de manera significativa.

4

Repetir el paso E y el paso M hasta que la log-verosimilitud de todos los datos (etiquetados más no etiquetados) converja o se alcance un número máximo de iteraciones. Un hiperparámetro de ponderación λ puede reducir el peso de la contribución no etiquetada si la distribución no etiquetada difiere de la etiquetada, protegiendo contra la transferencia negativa.

5

Una vez que converge, clasificar nuevos ejemplos utilizando la regla estándar de Naive Bayes: asignar la clase con la mayor probabilidad posterior bajo los parámetros aprendidos. La inferencia en tiempo de ejecución es idéntica a la de Naive Bayes ordinario — rápida, de forma cerrada y adecuada para grandes colecciones de documentos.

Fórmula
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)

Errores comunes

  • Ignorar la desalineación de la distribución entre los conjuntos etiquetados y no etiquetados — verificar siempre que ambas muestras se extraigan de la misma tarea y dominio.
  • Omitir el ajuste de λ cuando la calidad de los datos no etiquetados es incierta; el valor predeterminado de λ=1 puede perjudicar el rendimiento.
  • Evaluar solo en el conjunto etiquetado de entrenamiento sin un conjunto de prueba separado, inflando la precisión aparente.
  • Tratar la convergencia de EM como optimalidad garantizada — comparar siempre con una línea base solo con datos etiquetados y una línea base simple de auto-entrenamiento.
  • Olvidar el suavizado de Laplace, que causa fallos de probabilidad cero para valores de características no vistos durante el paso E.

Preguntas frecuentes

¿Cuántos ejemplos etiquetados necesito para obtener un buen modelo inicial?

Tan solo 10-50 por clase pueden ser suficientes para texto con muchas características, siempre que se aplique suavizado de Laplace. Más ejemplos etiquetados siempre ayudan, pero el enfoque semi-supervisado brilla específicamente cuando se tienen menos de unos pocos cientos de instancias etiquetadas.

¿Cuál es el parámetro λ y cómo lo ajusto?

λ controla cuánta ponderación reciben los ejemplos no etiquetados en relación con los etiquetados durante el paso M (λ=1 los trata por igual; λ=0 los ignora). Ajústelo mediante validación cruzada en el conjunto etiquetado, comenzando con valores en {0.1, 0.3, 0.5, 1.0}. Reduzca λ cuando sospeche desalineación de distribución.

¿EM siempre mejorará un Naive Bayes solo con datos etiquetados?

No. Si los datos no etiquetados provienen de una distribución diferente, EM puede mover los parámetros en la dirección incorrecta y aumentar el error. Siempre compare con la línea base solo con datos etiquetados antes de implementar el modelo semi-supervisado.

¿En qué se diferencia esto del auto-entrenamiento con Naive Bayes?

El auto-entrenamiento asigna etiquetas duras a los ejemplos no etiquetados por encima de un umbral de confianza, y luego reentrena. Naive Bayes Semi-supervisado a través de EM asigna etiquetas fraccionales suaves a todos los ejemplos no etiquetados en cada iteración, lo cual es estadísticamente más correcto y evita la cascada de errores de confianza que pueden ocurrir en el auto-entrenamiento.

¿Es esto adecuado para datos tabulares no textuales?

Sí. Para características continuas, reemplace la verosimilitud multinomial con verosimilitudes Gaussianas (u otras paramétricas) por clase. La estructura del bucle EM es idéntica; solo cambian las fórmulas de los parámetros del paso M.

Métodos relacionados

Fuentes

  1. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.

    Abrir referencia DOI
    Copiado.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Copiado.