Risoluzione numericamente stabile

Esistono tecniche basate su fattorizzazioni che permettono di ricavare la soluzione ai minimi quadrati partendo direttamente dalla matrice $\mathbf{A}$, evitando la formazione esplicita di $\mathbf{A}^{\top}\mathbf{A}$.

Una prima possibilità è utilizzare la fattorizzazione QR, algoritmo notoriamente stabile dal punto di vista numerico. Per una matrice $\mathbf{A}$ di dimensioni $m\times n$, con $m\geq n$, si può scrivere

$$\mathbf{A}=\mathbf{Q}\mathbf{R}$$ (1.18)

dove $\mathbf{Q}$ ha colonne ortonormali e $\mathbf{R}$ è una matrice triangolare superiore. Il problema ai minimi quadrati diventa quindi

$$\mathbf{Q}\mathbf{R}\mathbf{x}\simeq\mathbf{y}.$$ (1.19)

Sfruttando l'ortogonalità di $\mathbf{Q}$, la soluzione può essere ricavata risolvendo

$$\mathbf{R}\mathbf{x} = \mathbf{Q}^{\top}\mathbf{y}.$$ (1.20)

Questo approccio evita di formare la matrice $\mathbf{A}^{\top}\mathbf{A}$ e risulta pertanto numericamente più stabile rispetto alla soluzione diretta delle equazioni normali.

La SVD costituisce un metodo ancora più generale e permette inoltre di gestire in modo naturale matrici prive di rango pieno. Dalla decomposizione (1.9) è infatti possibile ottenere direttamente la pseudoinversa mediante (1.12) e quindi la soluzione

$$\hat{\mathbf{x}} = \mathbf{V}\mathbf{\Sigma}^{+}\mathbf{U}^{\top}\mathbf{y}.$$ (1.21)

La SVD permette inoltre di individuare direttamente le direzioni del problema associate a valori singolari molto piccoli. Tali direzioni corrispondono a componenti della soluzione scarsamente determinate dai dati e risultano particolarmente importanti nell'analisi del condizionamento e dei sistemi lineari omogenei.

Dal punto di vista del calcolo numerico, quando possibile, il numero di condizione della matrice può inoltre essere ridotto mediante una opportuna normalizzazione o scalatura delle colonne di $\mathbf{A}$.