Sistemi lineari sovradimensionati

Consideriamo ora il caso di un sistema sovradimensionato

$$\mathbf{A}\mathbf{x}\simeq\mathbf{b}, \qquad \mathbf{A}\in\mathbb{R}^{m\times n}, \qquad m>n.$$ (1.37)

Supponiamo che $\mathbf{A}$ abbia rango pieno rispetto alle colonne. Come discusso nella sezione 1.1, la soluzione ai minimi quadrati può essere espressa mediante la decomposizione ai valori singolari

$$\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^{\top},$$ (1.38)

come

$$\hat{\mathbf{x}} = \mathbf{A}^{+}\mathbf{b} = \mathbf{V}\mathbf{\Sigma}^{-1}\mathbf{U}^{\top}\mathbf{b}.$$ (1.39)

Esplicitando la precedente relazione si ottiene

$$\hat{\mathbf{x}} = \sum_{i=1}^{n} \frac{\mathbf{u}_i^{\top}\mathbf{b}}{\sigma_i} \mathbf{v}_i.$$ (1.40)

Questa espressione mostra in modo particolarmente evidente il ruolo dei valori singolari. La componente del vettore $\mathbf{b}$ lungo $\mathbf{u}_i$ contribuisce alla soluzione nella direzione $\mathbf{v}_i$ con un fattore $1/\sigma_i$. Di conseguenza, una perturbazione della componente $\mathbf{u}_i^{\top}\mathbf{b}$ viene amplificata quando $\sigma_i$ assume valori piccoli.

In questo caso il numero di condizionamento può essere definito, nella norma 2, come

$$\kappa_2(\mathbf{A}) = \frac{\sigma_1}{\sigma_n}.$$ (1.41)

dove $\sigma_n$ è il più piccolo valore singolare non nullo. Se $\sigma_n$ tende a zero, il problema diventa sempre più sensibile alle perturbazioni dei dati.

Il condizionamento permette quindi di interpretare geometricamente la soluzione: le direzioni associate ai valori singolari più grandi sono determinate con maggiore robustezza, mentre quelle associate ai valori singolari più piccoli sono determinate con maggiore sensibilità alle perturbazioni.