Saltar al contenido
Volver a los resultados

Naive Bayes

Propuesto por
Mitchell, T. M. (textbook treatment)
Año
1997
Tipo
Probabilistic classifier (Bayes' theorem with conditional independence)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Naive Bayes es un clasificador probabilístico rápido que aplica el teorema de Bayes asumiendo que las características son condicionalmente independientes dada la clase — un método que recibe su tratamiento estándar de aprendizaje automático en el libro de texto de Tom Mitchell de 1997, Machine Learning.

A pesar de esta suposición simplificadora ('ingenua'), es rápido de entrenar y a menudo sorprendentemente preciso.

La intuición detrás del método

En lugar de aprender interacciones complejas entre características, Naive Bayes hace una pregunta más simple: dada cada clase, ¿qué tan probable es cada valor de característica por sí solo? Luego multiplica estas probabilidades por característica junto con la tasa base de la clase y elige la clase que resulta más probable. Fingir que las características no interactúan hace que las matemáticas sean triviales y el entrenamiento extremadamente rápido, y en la práctica el clasificador resultante aún clasifica bien las clases incluso cuando la suposición de independencia no es estrictamente cierta.

Historia

Los clasificadores Naive Bayes surgen de la teoría clásica de decisión bayesiana y se convirtieron en un pilar del aprendizaje automático aplicado, especialmente para tareas de clasificación de texto como el filtrado de spam. El método recibe su tratamiento estándar en libros de texto en Machine Learning de Tom Mitchell (1997), que presenta la formulación del teorema de Bayes y la suposición de independencia condicional que dan nombre al clasificador.

Cuándo usarlo

Adecuado para clasificación rápida cuando se tienen características categóricas, binarias, continuas o de texto y al menos unas 30 observaciones, especialmente como una línea base sólida y económica. Es ligero en suposiciones sobre la distribución en general, pero cada variante conlleva su propia suposición de verosimilitud (por ejemplo, normalidad dentro de la clase para la variante Gaussiana), y es sensible al desequilibrio de clases. Cuando las características están fuertemente correlacionadas o se necesitan estimaciones de efectos calibradas, prefiera la regresión logística.

Limitaciones y consideraciones

  • La suposición de independencia condicional rara vez se cumple, por lo que las estimaciones de probabilidad pueden estar mal calibradas incluso cuando la clasificación es buena.
  • Sensible al desequilibrio de clases: las probabilidades previas deben ajustarse o los datos deben remuestrearse.
  • Gaussian Naive Bayes se degrada cuando se viola la suposición de normalidad dentro de la clase.
  • Poco fiable con muestras muy pequeñas, donde las estimaciones de probabilidad por clase no son confiables.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Extremadamente rápido de entrenar y predecir, incluso en datos grandes o de alta dimensión como texto.
  • Funciona bien como una línea base simple y de bajo costo, y a menudo funciona sorprendentemente bien a pesar de su suposición ingenua.
  • Maneja características categóricas, binarias, continuas y de texto a través de sus diferentes variantes.
  • Necesita relativamente pocos datos de entrenamiento para estimar sus parámetros.

Aplicaciones

  • Clasificación de texto como filtrado de spam y categorización de documentos.
  • Clasificación rápida de línea base antes de probar modelos más complejos.
  • Clasificación con características categóricas, binarias, continuas o de recuento.
  • Problemas de alta dimensión donde la velocidad de entrenamiento es importante.

Cómo funciona

Cómo funciona

1

Por el teorema de Bayes, la probabilidad de una clase dadas las características observadas es proporcional a la probabilidad previa de la clase multiplicada por la verosimilitud de esas características bajo esa clase. El paso 'ingenuo' es asumir que las características son condicionalmente independientes dada la clase, de modo que la verosimilitud conjunta se factoriza en un producto simple de verosimilitudes por característica. Esta suposición rara vez se cumple exactamente en la práctica, sin embargo, el rendimiento del clasificador puede ser sorprendentemente fuerte.

Fórmula
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)
2

A partir de los datos de entrenamiento, el modelo estima las probabilidades previas de clase (qué tan común es cada clase) y las verosimilitudes por característica. La forma de la verosimilitud depende de la variante: Gaussian Naive Bayes asume que las características continuas se distribuyen normalmente dentro de cada clase, mientras que Multinomial Naive Bayes se adapta a recuentos de frecuencia de términos en la clasificación de texto y no acepta valores negativos. Dado que cada clase se estima por separado, debe haber suficientes observaciones por clase, al menos unas 30 en total.

3

Para una nueva observación, el modelo combina la probabilidad previa con el producto de las verosimilitudes por característica para cada clase candidata y asigna la clase con la mayor probabilidad resultante. Dado que las clases se puntúan de forma independiente, un conjunto de datos desequilibrado puede sesgar el resultado, por lo que las probabilidades previas deben ajustarse o los datos deben remuestrearse.

Fórmula
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)

Errores comunes

  • Confiar en las probabilidades de salida brutas como calibradas en lugar de tratarlas como una clasificación.
  • Ignorar el desequilibrio de clases en lugar de ajustar las probabilidades previas o remuestrear.
  • Introducir valores negativos en Multinomial Naive Bayes, lo cual no acepta.
  • Aplicar Gaussian Naive Bayes a características continuas claramente no normales sin verificar.
  • Ejecutarlo en un conjunto de datos con muy pocas observaciones por clase (por debajo de ~30 en total).

Preguntas frecuentes

¿Por qué se llama 'ingenuo'?

Porque asume que las características son condicionalmente independientes dada la clase, es decir, que conocer una característica no dice nada sobre otra dentro de una clase. Esto rara vez es literalmente cierto, pero la simplificación hace que el modelo sea trivial de estimar y rápido de ejecutar, y el clasificador a menudo aún clasifica las clases con precisión.

¿Qué variante debo usar?

Gaussian Naive Bayes es para características continuas que se asumen distribuidas normalmente dentro de cada clase. Multinomial Naive Bayes se adapta a datos de recuento o frecuencia de términos, como en la clasificación de texto, y no acepta valores negativos. Elija la variante que coincida con su tipo de característica.

¿Puedo confiar en las probabilidades predichas?

Use la clase predicha con cuidado como una clasificación. Dado que la suposición de independencia generalmente se viola, las probabilidades brutas tienden a ser empujadas hacia 0 o 1 y a menudo están mal calibradas, incluso cuando la clase elegida es correcta.

¿Cuántos datos necesita?

Es económico con los datos, pero aún necesita suficientes observaciones por clase, al menos aproximadamente 30 en total, para que las probabilidades previas de clase y las verosimilitudes por característica puedan estimarse de manera confiable. Por debajo de eso, la regresión logística es una opción más segura.

Métodos relacionados

Fuentes

  1. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.

    ISBN: 978-0070428072
    Copiado.