Sistemi lineari sovradimensionati

Analizzando sistemi reali è facile imbattersi nel problema di dover ricavare la “soluzione” di un sistema lineare sovradimensionato.

L'importanza di questo argomento è evidente: quando si eseguono osservazioni su un sistema reale questo risulta naturalmente affetto da rumore, appunto, di osservazione. Questo rumore compromette il risultato della singola osservazione ma, fortunatamente, è normalmente possibile acquisire molte più osservazioni che incognite ottenendo così un sistema sovradimensionato. In queste condizioni, per ottenere una soluzione al problema che minimizzi l'errore, è richiesto l'utilizzo di una tecnica di regressione numerica, per esempio, ai minimi quadrati. In questa prima sezione sono presentate tecniche matematiche ampiamente utilizzate in tutto il libro: per ulteriori dettagli riguardo queste tecniche si può fare riferimento al capitolo 4 incentrato totalmente su questo argomento.

Si abbia pertanto un sistema lineare sovradimensionato (overdetermined)

$$\mathbf{A}\mathbf{x}=\mathbf{y}$$ (1.1)

dove $\mathbf{A}$ è una matrice rettangolare $m\times n$ e con $m\geq n$. In generale un tale sistema non ammette una soluzione esatta, in quanto il vettore $\mathbf{y}$ può non appartenere allo spazio delle colonne di $\mathbf{A}$. È tuttavia possibile definire per ogni possibile soluzione $\mathbf{x}\in\mathbb{R}^{n}$ un valore dell'errore, detto anche residuo, che questa eventuale soluzione comporterebbe. Si ricercano pertanto soluzioni che minimizzino il residuo sotto una particolare metrica.

Definiamo^1.1 come metrica dell'errore il quadrato della norma del residuo:

$$\epsilon(\mathbf{x}) = \left\Vert \mathbf{A}\mathbf{x}-\mathbf{y}\right\Vert^{2}.$$ (1.2)

La soluzione cosiddetta “ai minimi quadrati” di un sistema lineare (1.1) è rappresentata dal vettore $\mathbf {x}$ che minimizza la distanza euclidea del residuo (1.2), ovvero

$$\hat{\mathbf{x}} = \underset{\mathbf{x}}{\arg\min}\, \left\Vert\mathbf{A}\mathbf{x}-\mathbf{y}\right\Vert^{2}.$$ (1.3)

Trovare la soluzione ottima del sistema, nei sensi di una regressione ai minimi quadrati, equivale quindi a trovare il minimo di tale funzione errore al variare di $\mathbf {x}$.

Footnotes

...Definiamo^1.1

La motivazione di questa scelta verrà discussa nei dettagli nel capitolo sullo studio dei modelli.