Gauss-Newton

I metodi visti finora lasciano molta libertà nella scelta della loss function. Nei casi pratici in cui la funzione costo sia quadratica, è possibile introdurre alcune semplificazioni rispetto al metodo di Newton, evitando il calcolo esplicito dell'Hessiana.

In questo caso la funzione costo assume la forma

$$S(\boldsymbol\beta) = \frac{1}{2}\mathbf r^{\top}\mathbf r = \frac{1}{2} \sum_{i=1}^{n} r_i^2(\boldsymbol\beta)$$ (4.54)

dove il fattore $1/2$ viene introdotto unicamente per semplificare le espressioni delle derivate.

Il gradiente e l'Hessiana della funzione costo risultano

$$\begin{array}{l} \nabla S(\boldsymbol\beta) = \displayst... ...athbf J_r + \sum_{i=1}^{n} r_i \mathbf H_{r_i}. \end{array}$$ (4.55)

Quando i residui sono piccoli, oppure quando il modello è localmente quasi lineare, il secondo termine dell'Hessiana diventa trascurabile e si ottiene l'approssimazione

$$\mathbf H_S(\boldsymbol\beta) \approx \mathbf J_r^{\top}\mathbf J_r.$$ (4.56)

In tali condizioni il gradiente della funzione costo si scrive come

$$\nabla S(\boldsymbol\beta) = \mathbf J_r^{\top}\mathbf r$$

mentre l'Hessiana può essere approssimata da

$$\mathbf H_S(\boldsymbol\beta) \approx \mathbf J_r^{\top}\mathbf J_r.$$

Sostituendo questa approssimazione nell'equazione di Newton (4.43) si ottiene il sistema lineare

$$\mathbf J_r^{\top}\mathbf J_r \,\boldsymbol\delta_\beta = -\mathbf J_r^{\top}\mathbf r.$$ (4.57)

La soluzione del sistema precedente può essere ottenuta mediante le normal equations:

$$\boldsymbol\delta_\beta = -\left( \mathbf J_r^{\top}\mathbf J_r \right)^{-1} \mathbf J_r^{\top}\mathbf r.$$ (4.58)

Il significato geometrico delle normal equations è che il residuo linearizzato

$$\mathbf J_r \boldsymbol\delta_\beta + \mathbf r$$

deve risultare ortogonale allo spazio delle colonne di $\mathbf J_r$.

Nel caso particolare in cui il residuo sia definito come

$$r_i = y_i - f_i(\mathbf x_i;\boldsymbol\beta),$$ (4.59)

ovvero come nell'equazione (4.7), si ha

$$\frac{\partial r_i} {\partial \boldsymbol\beta} = - \frac{\partial f_i} {\partial \boldsymbol\beta},$$

per cui è possibile sostituire lo Jacobiano dei residui $\mathbf J_r$ con lo Jacobiano del modello $\mathbf J_f$ ottenendo

$$\boldsymbol\delta_\beta = \left( \mathbf J_f^{\top}\mathbf J_f \right)^{-1} \mathbf J_f^{\top}\mathbf r.$$ (4.60)