Metodi di ottimizzazione

Consideriamo ora un generico problema di modellizzazione (ottimizzazione) di funzione non vincolata, applicabile per esempio a problemi di classificazione nell'ambito della visione artificiale. Le considerazioni espresse in questa sezione si applicano al caso dei minimi quadrati ma possono essere estese a una generica loss function.

Sia

$$\mathbf{z}=\{(\mathbf{x}_i,y_i)\}_{i=1}^{n}$$

l'insieme dei dati coinvolti nell'operazione di modellizzazione, dove $\mathbf{x}_i$ rappresenta un ingresso arbitrario e $y_i$ la corrispondente uscita osservata. Sia $\ell (\hat{y}, y)$ la funzione costo (loss function) che ritorna la bontà della stima su $y$. L'obiettivo è trovare i pesi $\boldsymbol\beta$ che parametrizzano la funzione $f(\mathbf{x}; \boldsymbol\beta)$ che minimizzano una funzione costo $S(\boldsymbol\beta)$

$$S( \boldsymbol\beta) = \int \ell(\mathbf{z} ; \boldsymbol\b... ...S( \boldsymbol\beta) = \sum_{i=1}^{n} \ell_i(\boldsymbol\beta)$$ (4.35)

sia nel caso continuo che nel caso discreto, avendo definito $\ell_i(\boldsymbol\beta) = \ell (f_i(\mathbf{x}_i; \boldsymbol\beta), y_i )$. Per semplicità si farà sempre riferimento al secondo caso, quello discreto, per descrivere la funzione costo.

Nel caso di errore additivo gaussiano, lo stimatore a massima verosimiglianza si ottiene minimizzando la loss function quadratica di equazione (4.7):

$$\ell_i(\boldsymbol\beta) = r_i^2 (\boldsymbol\beta) = \left( y_i - f_i(\mathbf{x}_i ; \boldsymbol\beta) \right)^2$$ (4.36)

In applicazioni pratiche non è quasi mai possibile ottenere il minimo della funzione in forma chiusa e pertanto bisogna fare ricorso ad opportuni metodi iterativi, i quali, partendo da uno stato iniziale e muovendosi lungo opportune direzioni $\boldsymbol\delta$ si avvicinano man mano al minimo della funzione obiettivo.