Condizionamento delle equazioni normali

Il condizionamento assume particolare importanza quando si utilizzano le equazioni normali. Per un sistema sovradimensionato a rango colonnare pieno, la soluzione ai minimi quadrati può essere ottenuta risolvendo

$$\mathbf{A}^{\top}\mathbf{A}\mathbf{x} = \mathbf{A}^{\top}\mathbf{b}.$$ (1.42)

Se

$$\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^{\top},$$ (1.43)

allora

$$\mathbf{A}^{\top}\mathbf{A} = \mathbf{V}\mathbf{\Sigma}^{\top}\mathbf{\Sigma}\mathbf{V}^{\top}.$$ (1.44)

I valori singolari di $\mathbf{A}^{\top}\mathbf{A}$ sono quindi i quadrati dei valori singolari di $\mathbf{A}$. Ne consegue che

$$\boxed{ \kappa_2(\mathbf{A}^{\top}\mathbf{A}) = \kappa_2(\mathbf{A})^2 }.$$ (1.45)

La formazione delle equazioni normali può quindi peggiorare sensibilmente il condizionamento del problema. Per questo motivo, come discusso nella sezione 1.1, nella pratica sono spesso preferibili metodi basati sulla decomposizione QR o SVD, che evitano di formare esplicitamente la matrice $\mathbf{A}^{\top}\mathbf{A}$.