Classificatori Binari

Un particolare caso, molto diffuso, di classificatore è quello di classificatore binario.

In questo caso il problema consiste nel cercare una relazione che leghi il training set

$$S= \left\{ (\mathbf{x}_1,y_1), \ldots, (\mathbf{x}_l,y_l) \right\} \subseteq \mathbb{X}\times\mathbb{Y}$$ (5.4)

dove $\mathbf{x}_i\in\mathbb{X}\subseteq\mathbb{R}^{n}$ rappresenta il vettore delle caratteristiche associate all'$i$-esimo campione e $\mathbb{Y}=\{+1,-1\}$ è l'insieme delle classi.

Esempi di classificatori binari sono:

LDA

la Linear Discriminant Analysis (sezione 5.3) è una tecnica che permette di trovare il piano di separazione tra le classi che massimizza la distanza tra le distribuzioni;

Decision Stump

Gli alberi di decisione a un solo livello hanno solo due possibili uscite;

SVM

le Macchine a Vettori di Supporto Support Vector Machines (sezione 5.5) partizionano, massimizzando il margine, lo spazio delle feature usando iperpiani o semplici superfici.

Un particolare interesse ricoprono i classificatori lineari (LDA e SVM-Lineare) i quali, per risolvere il problema di classificazione binaria, individuano un iperpiano $(\mathbf{w},b)$ di separazione tra le due classi.

L'equazione di un iperpiano, modificando leggermente la formula (1.85), è

$$\mathbf{w} \cdot \mathbf{x} + b = 0$$ (5.5)

dove il vettore normale $\mathbf{w}$ può anche non essere di norma unitaria. Un iperpiano divide lo spazio in due sottospazi dove l'equazione (5.5) ha segno opposto. La superficie di separazione è un iperpiano che divide lo spazio in due sotto parti rappresentanti le due categorie della classificazione binaria.

Un classificatore lineare è basato su una funzione discriminante

$$f(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b$$ (5.6)

Il vettore $\mathbf{w}$ è chiamato weight vector ed il termine $b$ è chiamato bias. I classificatori lineari assumono una certa importanza in quanto, attraverso la proiezione lungo l'asse $\mathbf{w}$, trasformano il problema da multidimensionale a scalare.

Il segno della funzione $f(\mathbf{x})$ rappresenta il risultato della classificazione. Un iperpiano di separazione equivale ad individuare una combinazione lineare degli elementi $\mathbf{x} \in \mathbf{X}$ in modo da ottenere

$$\hat{y} = \sgn ( \mathbf{w} \cdot \mathbf{x} + b )$$ (5.7)