Metodi di ottimizzazione

Consideriamo ora un generico problema di modellizzazione (ottimizzazione) di funzione non vincolata, applicabile per esempio a problemi di classificazione nell'ambito della visione artificiale. Le considerazioni espresse in questa sezione si applicano al caso dei minimi quadrati ma possono essere estese a una generica loss function.

Sia $\mathbf{z}$ l'insieme dei dati coinvolti nell'operazione di modellizzazione formati da una coppia $(\mathbf{x}_i,y_i)$ composizione da un ingresso arbitrario $\mathbf{x}_i$ e dall'uscita $y_i$. Sia $\ell (\hat{y}, y)$ la funzione costo (loss function) che ritorna la bontà della stima su $y$. L'obiettivo è trovare i pesi $\boldsymbol\beta$ che parametrizzano la funzione $f(\mathbf{x}; \boldsymbol\beta)$ che minimizzano una funzione costo $S(\boldsymbol\beta)$

$$S( \boldsymbol\beta) = \int \ell(\mathbf{z} ; \boldsymbol\b... ...S( \boldsymbol\beta) = \sum_{i=1}^{n} \ell_i(\boldsymbol\beta)$$ (3.27)

sia nel caso continuo che nel caso discreto, avendo definito $\ell_i(\boldsymbol\beta) = \ell (f_i(\mathbf{x}_i; \boldsymbol\beta), y_i )$. Per semplicità si farà sempre riferimento al secondo caso, quello discreto, per descrivere la funzione costo.

Nel caso di errore additivo gaussiano normale, lo stimatore a massima verosimiglianza è la loss function quadratica di equazione (3.6):

$$\ell_i(\boldsymbol\beta) = r_i^2 (\boldsymbol\beta) = \left( y_i - f_i(\mathbf{x}_i ; \boldsymbol\beta) \right)^2$$ (3.28)

In applicazioni pratiche non è quasi mai possibile ottenere il minimo della funzione in forma chiusa e pertanto bisogna fare ricorso ad opportuni metodi iterativi, i quali, partendo da uno stato iniziale e muovendosi lungo opportune direzioni $\boldsymbol\delta$ si avvicinano man mano al minimo della funzione obiettivo.