Equazioni normali

Una prima possibilità per ricavare la soluzione ai minimi quadrati consiste nel derivare la funzione errore rispetto a $\mathbf {x}$:

$$\frac{\partial \epsilon}{\partial\mathbf{x}} = 2\mathbf{A}^{\top} \left(\mathbf{A}\mathbf{x}-\mathbf{y}\right).$$ (1.4)

Ponendo tale derivata uguale a zero si ottiene

$$\mathbf{A}^{\top}\mathbf{A}\mathbf{x} = \mathbf{A}^{\top}\mathbf{y}.$$ (1.5)

Queste vengono indicate in letteratura come equazioni normali (normal equations): il problema originale viene ricondotto a un sistema lineare quadrato.

Se $\mathbf{A}$ ha rango colonnare pieno, ovvero $\operatorname{rank}(\mathbf{A})=n$, la matrice $\mathbf{A}^{\top}\mathbf{A}$ è definita positiva e invertibile. In questo caso la soluzione è

$$\hat{\mathbf{x}} = \left(\mathbf{A}^{\top}\mathbf{A}\right)^{-1} \mathbf{A}^{\top}\mathbf{y}.$$ (1.6)

La matrice $\mathbf{A}^{\top}\mathbf{A}$ è simmetrica e, nel caso di rango colonnare pieno, definita positiva; è pertanto possibile risolvere le equazioni normali mediante una fattorizzazione di Cholesky. Tuttavia la formazione esplicita di $\mathbf{A}^{\top}\mathbf{A}$ presenta uno svantaggio dal punto di vista numerico: nella norma 2 il numero di condizionamento soddisfa

$$\kappa_2\left(\mathbf{A}^{\top}\mathbf{A}\right) = \kappa_2(\mathbf{A})^2.$$ (1.7)

Il condizionamento del problema viene quindi peggiorato dalla formazione delle equazioni normali. Dettagli ulteriori sul condizionamento delle matrici e sulla propagazione dei disturbi nella soluzione dei sistemi lineari saranno presentati in sezione 1.2.