Classificazione multiclasse

I classificatori introdotti finora sono stati presentati principalmente nel contesto binario. Nella pratica, molti problemi di classificazione richiedono tuttavia di distinguere simultaneamente tra più categorie. È pertanto necessario estendere il formalismo delle funzioni di perdita e dei classificatori lineari al caso multiclasse.

Nel caso di classificazione binaria, considerato nelle sezioni precedenti, un classificatore lineare restituisce un singolo valore

$$f(\mathbf{x}) = \mathbf{w}^{\top}\mathbf{x} + b$$ (5.80)

che determina da quale parte della frontiera decisionale si trova il campione. Nel caso multiclasse, con $K$ classi, è invece necessario associare ad ogni classe uno score, ottenendo un vettore

$$\mathbf{s} = f(\mathbf{x},\mathbf{W},\mathbf{b})$$ (5.81)

con

$$s_j = \mathbf{w}_j^{\top}\mathbf{x} + b_j, \qquad j=1,\ldots,K.$$ (5.82)

Gli score $s_j$ non rappresentano necessariamente delle probabilità e il loro valore assoluto non ha in generale un significato diretto. Il problema della classificazione consiste quindi nel confrontare gli score delle diverse classi e assegnare il campione alla classe con score maggiore.

Anche nel caso multiclasse è possibile definire una funzione di perdita che quantifichi quanto gli score prodotti dal classificatore siano compatibili con la classe corretta. Come discusso nella sezione 5.6, la scelta della funzione di perdita determina in modo sostanziale il criterio con cui viene addestrato il classificatore.

Una prima possibilità consiste nell'estendere al caso multiclasse il concetto di hinge loss introdotto per la SVM nella sezione 5.5. Indicando con $y_i$ la classe corretta del campione $i$-esimo e con $s_j=f_j(\mathbf{x}_i)$ lo score associato alla classe $j$, si può definire la multiclass SVM loss come

$$\ell_i = \sum_{j \neq y_i} \max\left(0, s_j - s_{y_i} + 1\right).$$ (5.83)

La perdita è nulla quando lo score della classe corretta supera quello di ogni altra classe di almeno un margine pari a $1$. In caso contrario, viene penalizzata ogni classe che viola tale margine. La formulazione è quindi una naturale estensione della hinge loss binaria, nella quale il margine viene valutato rispetto a tutte le classi concorrenti.

Una variante consiste nella squared hinge loss, nella quale la penalizzazione viene elevata al quadrato:

$$\ell_i = \sum_{j \neq y_i} \max\left(0, s_j - s_{y_i} + 1\right)^2.$$ (5.84)

La funzione di perdita complessiva può quindi essere ottenuta come media delle perdite sui campioni, eventualmente aggiungendo un termine di regolarizzazione:

$$\mathcal{L} = \frac{1}{n}\sum_{i=1}^{n}\ell_i + \lambda R(\mathbf{W}).$$ (5.85)

Questa formulazione rientra nel quadro della minimizzazione del rischio empirico introdotto nella sezione 5.6. Il termine $R(\mathbf{W})$ permette di penalizzare modelli troppo complessi e può, ad esempio, corrispondere ad una regolarizzazione L2 dei pesi.

La cross-entropy può essere estesa naturalmente al caso multiclasse introducendo una parametrizzazione probabilistica delle classi attraverso la funzione Softmax.

Gli score $s_j$ vengono trasformati in probabilità attraverso

$$p_j = \frac{e^{s_j}} {\sum_{k=1}^{K} e^{s_k}}.$$ (5.86)

La perdita associata al campione $i$-esimo è quindi la cross-entropy della classe corretta:

$$\ell_i = -\log p_{y_i} = -\log \frac{e^{s_{y_i}}} {\s... ...j=1}^{K} e^{s_j}} = -s_{y_i} + \log\sum_{j=1}^{K}e^{s_j}.$$ (5.87)

La formulazione è l'estensione al caso multiclasse della cross-entropy introdotta nella sezione 5.6. Poiché la minimizzazione della cross-entropy equivale alla minimizzazione della negative log-likelihood della classe osservata, il modello può essere interpretato come uno stimatore a massima verosimiglianza.

Anche in questo caso è possibile introdurre un termine di regolarizzazione:

$$\mathcal{L} = -\frac{1}{n}\sum_{i=1}^{n} \log p_{y_i} + \lambda R(\mathbf{W}).$$ (5.88)

Da un punto di vista statistico, il termine di regolarizzazione può essere interpretato come l'introduzione di un'informazione a priori sui parametri del modello. In questa interpretazione la stima non è più una semplice stima di massima verosimiglianza, ma una stima Maximum A Posteriori (MAP).

Le funzioni di perdita forniscono quindi un linguaggio comune per descrivere numerosi algoritmi di classificazione. Un approccio alternativo consiste nel combinare più classificatori semplici per costruire un classificatore più complesso, secondo il paradigma dell'Ensemble Learning.