Gauss-Newton
I metodi visti finora lasciano molta libertà sulla scelta di una particolare loss-function piuttosto che di un'altra.
Nei casi pratici in cui la funzione costo
è quadratica si possono fare delle ottimizzazioni ulteriori al metodo di Newton evitando il gravoso calcolo dell'Hessiana.
In questo caso la loss-function assume la forma già vista in precedenza
 |
(3.42) |
Il termine
nella funzione costo serve per avere una espressione dello Jacobiano più compatta.
Con questa funzione costo gradiente ed Hessiana si scrivono come
 |
(3.43) |
Quando i parametri sono vicini alla soluzione esatta il residuo è piccolo e l'Hessiana può essere approssimata solo dal primo termine dell'espressione ovvero
 |
(3.44) |
In queste condizioni il gradiente e l'Hessiana della funzione costo
possono essere scritte in funzione del solo Jacobiano delle funzioni
.
L'espressione dell'Hessiana così approssimata può essere inserita in equazione (3.35):
 |
(3.45) |
Questo, come nel caso di Newton, è un problema di minimo lineare che si può risolvere attraverso l'uso delle normal equations:
 |
(3.46) |
Il significato delle normal equations è geometrico: il minimo si ottiene infatti quando
diventa ortogonale allo spazio colonne di
.
Nel caso particolare di funzione residuo scritta come
 |
(3.47) |
`ovvero come quelle di equazione (3.6), è possibile usare
, Jacobiano di
, invece di
 |
(3.48) |
`avendo osservato che le derivate di
e
sono uguali a meno del segno3.2.
Footnotes
- 3.2
- Chiaramente le derivate coincidono quando si sceglie un residuo del tipo
.
Paolo medici
2025-02-07