Naive Bayes

Normalmente una singola caratteristica estratta dall'oggetto da classificare non è sufficiente per ottenere prestazioni elevate. Fortunatamente le caratteristiche che si possono estrarre da un'immagine sono molteplici.

Siano indicate con $x_j$, con $j=1,\ldots,m$, tali caratteristiche.

Nel caso generale le caratteristiche osservate possono essere correlate tra loro. Ad esempio, le proprietà “è arancione” e “non è rosso” non sono indipendenti. La modellazione di tali dipendenze può risultare complessa e richiedere un numero elevato di parametri.

L'assunzione Naive Bayes (talvolta indicata anche come idiot Bayes) introduce una semplificazione fondamentale: si assume che le caratteristiche osservate siano condizionalmente indipendenti una volta nota la classe $y_i$. In altre parole,

$$p(x_1,\ldots,x_m\vert y_i) = \prod_{j=1}^{m} p(x_j\vert y_i).$$ (5.28)

Quando tale ipotesi è soddisfatta, il numero di parametri da stimare si riduce drasticamente, rendendo il classificatore particolarmente semplice ed efficiente. Nella pratica l'ipotesi di indipendenza condizionale è raramente verificata in modo esatto; tuttavia Naive Bayes fornisce spesso buoni risultati anche quando tale ipotesi è soltanto approssimativamente valida.