Saltar al contenido
Volver a los resultados

Naive Bayes en línea

Propuesto por
Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
Año
2000s
Tipo
Probabilistic classifier (online/incremental)
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Naive Bayes en línea (Online Naive Bayes) es una adaptación incremental del clasificador clásico Naive Bayes que actualiza sus estadísticas condicionales de clase una observación (o un mini-lote) a la vez, lo que lo hace muy adecuado para flujos de datos, conjuntos de datos muy grandes que no caben en memoria y entornos donde el modelo debe adaptarse continuamente a medida que llegan nuevos ejemplos etiquetados.

La intuición detrás del método

El Naive Bayes clásico lee todos los datos de entrenamiento a la vez, calcula las probabilidades a priori de clase y las verosimilitudes de las características, y luego congela sus parámetros. Naive Bayes en línea, en cambio, mantiene recuentos continuos o estadísticas suficientes (medias, varianzas, frecuencias de características) que se actualizan incrementalmente con cada nuevo ejemplo. Dado que la suposición de independencia condicional de Naive Bayes significa que la verosimilitud se factoriza en términos por característica, las estadísticas de cada característica se pueden actualizar de forma independiente y económica, lo que hace que el modelo sea naturalmente adecuado para el aprendizaje en una sola pasada sobre flujos sin sacrificar el mecanismo de predicción probabilística.

Historia

Naive Bayes tiene raíces en la estadística Bayesiana que se remontan al siglo XVIII, pero su uso como clasificador de texto se popularizó en la década de 1990 (por ejemplo, McCallum & Nigam, 1998). La variante en línea/incremental ganó atención sistemática con la comunidad de minería de flujos de datos a principios de la década de 2000, notablemente a través del trabajo de Domingos y Hulten sobre minería de flujos de datos de alta velocidad (KDD 2000). Ahora es un componente estándar de los kits de herramientas de procesamiento de flujos y se expone directamente en scikit-learn a través de la API partial_fit.

Cuándo usarlo

Utilice Naive Bayes en línea cuando los datos lleguen como un flujo o sean demasiado grandes para cargarlos en memoria a la vez, cuando se necesiten actualizaciones incrementales rápidas y con poca memoria, o cuando el modelo deba adaptarse continuamente a nuevos ejemplos (por ejemplo, clasificación de texto de transmisiones en vivo, filtrado de spam o clasificación de eventos en canalizaciones de IoT). También es una línea base sólida para datos de texto dispersos de alta dimensionalidad (bolsa de palabras, TF-IDF) en entornos de transmisión. No lo utilice cuando la suposición de independencia condicional se viole gravemente y haya suficientes datos para entrenar un modelo más expresivo en modo por lotes, cuando las características estén muy correlacionadas y capturar interacciones sea crítico, o cuando las distribuciones de clase estén extremadamente desequilibradas sin corrección.

Limitaciones y consideraciones

  • La suposición ingenua de independencia condicional rara vez se satisface exactamente y puede perjudicar la precisión cuando las características están fuertemente correlacionadas.
  • No puede aprender interacciones de características; cada característica contribuye de forma independiente a la posterior.
  • La deriva del concepto requiere mecanismos explícitos de olvido (por ejemplo, ventanas deslizantes, factores de decaimiento) ya que el modelo predeterminado acumula toda la evidencia histórica.
  • Naive Bayes Gaussiano asume distribuciones de características por clase unimodales y aproximadamente Gaussianas, lo que puede no cumplirse.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Procesa un ejemplo a la vez con un costo de actualización de O(1) por característica, lo que lo hace extremadamente rápido y eficiente en memoria para datos de transmisión.
  • Naturalmente probabilístico: produce probabilidades posteriores de clase calibradas, no solo etiquetas duras.
  • Escala a espacios de características de muy alta dimensionalidad (por ejemplo, texto) sin una penalización significativa de velocidad.
  • No es necesario almacenar datos históricos; el modelo se define completamente por sus estadísticas suficientes.
  • Simple de implementar y razonar; la suposición de independencia condicional a menudo funciona mejor de lo esperado en la práctica.

Aplicaciones

  • Detección de spam y phishing en tiempo real en flujos de correo electrónico o mensajes.
  • Clasificación incremental de texto sobre transmisiones de noticias en vivo o redes sociales.
  • Clasificación de eventos de sensores en sistemas IoT donde los datos llegan continuamente.
  • Clasificador de línea base para espacios de características de bolsa de palabras o TF-IDF de alta dimensionalidad.
  • Análisis de sentimiento en línea sobre transmisiones de reseñas de clientes o publicaciones sociales.
  • Cualquier tarea de clasificación demasiado grande para caber en memoria donde un modelo probabilístico rápido sea aceptable.

Cómo funciona

Cómo funciona

1

Las probabilidades a priori de clase P(C_k) = N_k / N se inicializan a partir de los datos etiquetados disponibles al inicio (o se establecen como uniformes). Las estadísticas suficientes por característica —recuentos para características categóricas, media y varianza continuas para características Gaussianas— se inicializan de manera similar.

Fórmula
P(C_k) = N_k / N
2

Cuando llega un nuevo ejemplo etiquetado (x, y), se incrementa el recuento de la clase N_y en uno y se actualizan las estadísticas suficientes para cada característica x_i bajo la clase y: se incrementan los recuentos para características de Bernoulli o Multinomial, y se actualizan la media y la varianza continuas utilizando el algoritmo en línea de Welford para características Gaussianas. No es necesario volver a visitar ejemplos antiguos.

3

En el momento de la predicción (o después de cada actualización), las verosimilitudes por característica P(x_i | C_k) se calculan a partir de las estadísticas suficientes actuales. Para Naive Bayes Gaussiano se evalúa la PDF Gaussiana; para las variantes Multinomial o de Bernoulli, se utilizan proporciones de frecuencia suavizadas.

Fórmula
P(x_i | C_k)
4

La probabilidad posterior para cada clase se calcula como el producto de la probabilidad a priori de la clase y todas las verosimilitudes por característica, y luego se devuelve la clase con la probabilidad posterior más alta. Dado que en la práctica se utilizan logaritmos, esto se convierte en una suma y evita el desbordamiento numérico.

Fórmula
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)

Errores comunes

  • Olvidar aplicar el suavizado de Laplace (añadir uno) para las variantes Multinomial/Bernoulli, lo que causa problemas de probabilidad cero para valores de características no vistos.
  • Ignorar la deriva del concepto: sin una estrategia de olvido o de ventana, el modelo se vuelve lentamente obsoleto en flujos no estacionarios.
  • Usar Naive Bayes Gaussiano para datos de recuento (por ejemplo, recuentos de palabras) en lugar de Naive Bayes Multinomial.
  • Tratar las probabilidades del modelo como perfectamente calibradas sin verificar; es posible que se necesite regresión isotónica o escalado de Platt.
  • Evaluar solo en precisión cuando hay desequilibrio de clases; usar precisión, recuperación y F1 por clase.

Preguntas frecuentes

¿Cómo maneja Naive Bayes en línea la deriva del concepto?

Por defecto, acumula toda la evidencia, por lo que se adapta lentamente a la deriva. Para reaccionar más rápido, aplique una ventana deslizante (solo cuente ejemplos recientes), olvido exponencial (pese menos las observaciones antiguas) o restablezca las estadísticas suficientes cuando se detecte deriva.

¿Qué variante debo usar: Gaussiana, Multinomial o de Bernoulli?

Use Naive Bayes Multinomial o de Bernoulli para texto (vectores de características binarios o de recuento) y Naive Bayes Gaussiano para características continuas que se distribuyen aproximadamente de forma normal dentro de cada clase. La lógica de actualización en línea difiere ligeramente, pero todas las variantes admiten actualizaciones incrementales.

¿Es Naive Bayes en línea competitivo con modelos en línea más complejos?

En texto disperso de alta dimensionalidad, a menudo es competitivo con la regresión logística en línea o SVM en línea, con un menor costo computacional. En conjuntos de características densos, de menor dimensionalidad o altamente correlacionados, la regresión logística en línea o el gradient boosting generalmente lo superan.

¿Cómo debo evaluar un clasificador en línea?

Use evaluación prequencial (test-then-train): prediga cada ejemplo antes de actualizar el modelo, luego actualice. Esto proporciona una estimación imparcial del rendimiento de transmisión sin un conjunto de validación separado.

¿Puedo inicializar Naive Bayes en línea a partir de un modelo entrenado por lotes?

Sí. Entrene un modelo Naive Bayes por lotes en un conjunto de datos inicial para obtener buenas estadísticas suficientes de partida, luego cambie a actualizaciones incrementales. Este enfoque de arranque en caliente evita la imprecisión del arranque en frío de un modelo inicializado aleatoriamente.

Métodos relacionados

Fuentes

  1. Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.

    Abrir referencia DOI
    Copiado.
  2. Online machine learning. Wikipedia.

    Abrir referencia de la publicación
    Copiado.