Rischio empirico

Data una funzione di perdita $L$, il rischio atteso di un classificatore è definito come

$$R(f) = \mathbb{E}_{(\mathbf{x},y)} \left[ L(y,f(\mathbf{x})) \right].$$ (5.71)

Poiché la distribuzione dei dati non è generalmente nota, in pratica il rischio viene stimato attraverso un insieme finito di $N$ campioni di addestramento:

$$\widehat{R}(f) = \frac{1}{N} \sum_{i=1}^{N} L(y_i,f(\mathbf{x}_i)).$$ (5.72)

Questa quantità prende il nome di rischio empirico. Il principio di Empirical Risk Minimization (ERM) consiste quindi nella ricerca del modello che minimizza il rischio empirico sui dati di addestramento.

Nella pratica, la minimizzazione del rischio empirico viene spesso accompagnata da un termine di regolarizzazione che limita la complessità del modello:

$$\min_{\mathbf{w},b} \frac{1}{N} \sum_{i=1}^{N} L(y_i,f(\mathbf{x}_i)) + \lambda \Omega(\mathbf{w}).$$ (5.73)

Questa formulazione permette di interpretare la SVM con Soft Margin introdotta nella sezione 5.5 come un caso particolare di minimizzazione del rischio empirico con regolarizzazione.