22
Che cosa è ingenuo di Naive Bayes?Che cosa è "ingenuo" in un classificatore Bayes ingenuo?
A
risposta
34
realtà c'è un ottimo esempio on Wikipedia:
In termini semplici, un naive Bayes classificatore presuppone che la presenza (o l'assenza) di una particolare caratteristica di una classe è correlato alla presenza (o l'assenza) di qualsiasi altra caratteristica, data la variabile di classe. Ad esempio, un frutto può essere considerato una mela se è rosso, rotondo e di circa 4 "di diametro Anche se queste caratteristiche dipendono l'una dall'altra o dall'esistenza delle altre caratteristiche, un classificatore ingenuo Bayes considera tutto queste proprietà di contribuire in modo indipendente per la probabilità che questo frutto è una mela.
in sostanza, si tratta di "naive", perché rende le ipotesi che possono o non possono rivelarsi corrette.
+5
L'articolo di wikipedia lo spiega correttamente, ma non sono d'accordo sul fatto che "faccia supposizioni che potrebbero o meno rivelarsi corrette". Con la giusta quantità di dati di allenamento fa un buon lavoro di filtraggio dei parametri irrilevanti. La parte "ingenua" è che non considera la dipendenza tra i parametri .. e quindi potrebbe dover esaminare i dati ridondanti. – Chip
6
Se i dati sono composto da un vettore di caratteristiche X = {x1, x2, ... x10} e le etichette di classe Y = {y1, y2, .. y5}. Pertanto, un classificatore Bayes identifica l'etichetta di classe corretta come quella che massimizza quanto segue formula:
.210P (y/x) = P (X/Y) * P (y) = P (x1, x2, ... x10/y) * P (y)
Quindi per, è ancora non ingenuo. Tuttavia, è difficile calcolare P (x1, x2, ... x10/Y), quindi supponiamo che le caratteristiche siano indipendenti, questo è ciò che chiamiamo l'assunto Naive, quindi, alla fine, otteniamo la seguente formula
P (y/x) = P (x1/y) * P (x2/y) * P ... (x10/y) * P (y)
2
si chiama naive perché rende l'assunzione che tutti gli attributi sono indipendenti l'uno dall'altro. Questo assunto è il motivo per cui è chiamato ingenuo come in molte situazioni del mondo reale che non si adattano. Nonostante ciò, il classificatore funziona molto bene in molte situazioni del mondo reale e ha prestazioni paragonabili a reti neutre e SVM in alcuni casi (anche se non tutti).
0
Per la classificazione quando troviamo la distribuzione congiunta il problema è che rispecchia solo i dati di addestramento ed è anche molto difficile da calcolare. Quindi abbiamo bisogno di qualcosa che generalizzi in modo più utile.
Il modello naivegeneralizza fortemente che ogni attributoè distribuita indipendentemente da altri attributi.
Aiuta davvero a non preoccuparsi della dipendenza tra gli attributi in larga misura.
Non devi essere imbarazzato Peddler, hai fatto una bella domanda. +1 – Yavar