Naive Bayes
- Introdotto da
- Mitchell, T. M. (textbook treatment)
- Anno
- 1997
- Tipo
- Probabilistic classifier (Bayes' theorem with conditional independence)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Naive Bayes è un classificatore probabilistico veloce che applica il teorema di Bayes assumendo che le caratteristiche siano condizionatamente indipendenti data la classe — un metodo a cui viene dedicato il trattamento standard nell'apprendimento automatico nel manuale di Tom Mitchell del 1997, "Machine Learning".
Nonostante questa assunzione semplificatrice ("ingenua"), è rapido da addestrare e spesso sorprendentemente accurato.
L’intuizione alla base del metodo
Invece di apprendere interazioni complesse tra le caratteristiche, Naive Bayes pone una domanda più semplice: data ciascuna classe, quanto è probabile ciascun valore di caratteristica da solo? Moltiplica quindi queste probabilità per caratteristica con la frequenza di base della classe e seleziona la classe che risulta più probabile. Fingere che le caratteristiche non interagiscano rende la matematica banale e l'addestramento estremamente veloce — e in pratica il classificatore risultante classifica comunque bene le classi anche quando l'assunzione di indipendenza non è strettamente vera.
Storia
I classificatori Naive Bayes derivano dalla teoria classica della decisione bayesiana e sono diventati un pilastro dell'apprendimento automatico applicato, specialmente per compiti di classificazione del testo come il filtraggio dello spam. Il metodo riceve il suo trattamento standard nei manuali nel "Machine Learning" di Tom Mitchell del 1997, che presenta la formulazione del teorema di Bayes e l'assunzione di indipendenza condizionale che danno il nome al classificatore.
Quando usarlo
Una buona soluzione per la classificazione veloce quando si hanno caratteristiche categoriche, binarie, continue o testuali e almeno circa 30 osservazioni, specialmente come baseline robusta ed economica. È leggero in termini di assunzioni sulla distribuzione complessiva, ma ogni variante porta con sé la propria assunzione di verosimiglianza (ad esempio, normalità intra-classe per la variante Gaussiana), ed è sensibile allo sbilanciamento delle classi. Quando le caratteristiche sono fortemente correlate o sono necessarie stime di effetto calibrate, preferire la regressione logistica.
Limiti e considerazioni
- L'assunzione di indipendenza condizionale raramente è valida, quindi le stime di probabilità possono essere mal calibrate anche quando la classificazione è buona.
- Sensibile allo sbilanciamento delle classi: le probabilità a priori devono essere aggiustate o i dati ricampionati.
- Gaussian Naive Bayes degrada quando l'assunzione di normalità intra-classe viene violata.
- Inaffidabile con campioni molto piccoli, dove le stime di probabilità per classe non sono affidabili.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Estremamente veloce da addestrare e da predire, anche su dati grandi o ad alta dimensionalità come il testo.
- Funziona bene come baseline semplice ed economica e spesso offre prestazioni sorprendentemente buone nonostante la sua assunzione "ingenua".
- Gestisce caratteristiche categoriche, binarie, continue e testuali attraverso le sue diverse varianti.
- Richiede relativamente pochi dati di addestramento per stimare i suoi parametri.
Applicazioni
- Classificazione del testo come il filtraggio dello spam e la categorizzazione dei documenti.
- Classificazione di base veloce prima di provare modelli più complessi.
- Classificazione con caratteristiche categoriche, binarie, continue o di conteggio.
- Problemi ad alta dimensionalità dove la velocità di addestramento è importante.
Come funziona
Come funziona
Per il teorema di Bayes, la probabilità di una classe date le caratteristiche osservate è proporzionale alla probabilità a priori della classe moltiplicata per la verosimiglianza di tali caratteristiche sotto quella classe. Il passo "ingenuo" è assumere che le caratteristiche siano condizionatamente indipendenti data la classe, in modo che la verosimiglianza congiunta si fattorizzi in un semplice prodotto di verosimiglianze per caratteristica. Questa assunzione raramente è valida esattamente in pratica, eppure le prestazioni del classificatore possono essere sorprendentemente robuste.
Formula
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)Dai dati di addestramento il modello stima le probabilità a priori della classe (quanto è comune ciascuna classe) e le verosimiglianze per caratteristica. La forma della verosimiglianza dipende dalla variante: Gaussian Naive Bayes assume che le caratteristiche continue siano distribuite normalmente all'interno di ciascuna classe, mentre Multinomial Naive Bayes è adatto per i conteggi di frequenza dei termini nella classificazione del testo e non accetta valori negativi. Poiché ogni classe è stimata separatamente, dovrebbero esserci abbastanza osservazioni per classe — almeno circa 30 in totale.
Per una nuova osservazione, il modello combina la probabilità a priori con il prodotto delle verosimiglianze per caratteristica per ogni classe candidata e assegna la classe con la probabilità risultante più alta. Poiché le classi sono valutate indipendentemente, un dataset sbilanciato può distorcere il risultato, quindi le probabilità a priori dovrebbero essere calibrate o i dati ricampionati.
Formula
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)Errori comuni
- Fidarsi delle probabilità di output grezze come ben calibrate piuttosto che trattarle come una classificazione.
- Ignorare lo sbilanciamento delle classi invece di calibrare le probabilità a priori o ricampionare.
- Fornire valori negativi a Multinomial Naive Bayes, che non li accetta.
- Applicare Gaussian Naive Bayes a caratteristiche continue chiaramente non normali senza verificarlo.
- Eseguirlo su un dataset con troppo poche osservazioni per classe (sotto ~30 in totale).
Domande frequenti
Perché si chiama "ingenuo"?
Perché assume che le caratteristiche siano condizionatamente indipendenti data la classe — cioè, che conoscere una caratteristica non dica nulla su un'altra all'interno di una classe. Questo è raramente letteralmente vero, ma la semplificazione rende il modello banale da stimare e veloce da eseguire, e il classificatore spesso classifica comunque le classi con precisione.
Quale variante dovrei usare?
Gaussian Naive Bayes è per caratteristiche continue assunte distribuite normalmente all'interno di ciascuna classe. Multinomial Naive Bayes è adatto per dati di conteggio o frequenza dei termini, come nella classificazione del testo, e non accetta valori negativi. Abbina la variante al tipo di caratteristica.
Posso fidarmi delle probabilità predette?
Usa la classe predetta con cautela come una classificazione. Poiché l'assunzione di indipendenza è solitamente violata, le probabilità grezze tendono a essere spinte verso 0 o 1 e sono spesso mal calibrate, anche quando la classe scelta è corretta.
Di quanti dati ha bisogno?
È economico in termini di dati, ma hai comunque bisogno di abbastanza osservazioni per classe — almeno circa 30 in totale — in modo che le probabilità a priori della classe e le verosimiglianze per caratteristica possano essere stimate in modo affidabile. Al di sotto di questo, la regressione logistica è una scelta più sicura.
Metodi correlati
Fonti
Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
ISBN: 978-0070428072Copiato.