Sistemi lineari omogenei

Esaminiamo ora il caso in cui il sistema lineare da risolvere sia invece omogeneo.

Un sistema lineare omogeneo ha la forma

$$\mathbf{A}\mathbf{x}=0.$$ (1.22)

La soluzione ovvia $\mathbf{x}=0$, che si ottiene anche attraverso la minimizzazione ai minimi quadrati, normalmente non risulta utile ai fini del problema.

In questo caso è necessario trovare, sempre ai sensi di una regressione ai minimi quadrati, un $\mathbf{x}\in\mathbb{R}^{n}$ non nullo che rappresenti una direzione appartenente al kernel di $\mathbf{A}$. Il vettore generatore del sottospazio è conosciuto a meno di uno o più fattori moltiplicativi, a seconda della dimensione del sottospazio nullo. Per ottenere una soluzione unica è necessario imporre un vincolo aggiuntivo, per esempio $\Vert\mathbf{x}\Vert=1$, formalizzando così il problema come minimizzazione vincolata:

$$\hat{\mathbf{x}} = \underset{\mathbf{x}}{\arg\min}\, \Vert\mathbf{A}\mathbf{x}\Vert^{2}, \qquad \Vert\mathbf{x}\Vert=1.$$ (1.23)

Anche in questo caso la SVD si dimostra una tecnica estremamente efficace: le basi del kernel di $\mathbf{A}$ sono infatti le colonne di $\mathbf{V}$ associate ai valori singolari nulli della matrice $\mathbf{\Sigma}$. In presenza di rumore, in genere non esisterà un valore singolare esattamente nullo; in questo caso deve essere individuata la direzione associata ai valori singolari sufficientemente piccoli rispetto alla scala del problema.

Gli autovettori associati a valori singolari nulli non sono propriamente autovettori della matrice $\mathbf{\Sigma}$, ma le colonne di $\mathbf{V}$ associate a tali valori singolari sono autovettori di $\mathbf{A}^{\top}\mathbf{A}$ associati all'autovalore nullo. Esse rappresentano pertanto una base del kernel di $\mathbf{A}$. Il numero di valori singolari nulli rappresenta la dimensione del kernel stesso.

La presenza di valori singolari nulli permette inoltre di comprendere perché la pseudoinversa definita attraverso le equazioni normali non sia una definizione generale: in presenza di tali valori $\mathbf{A}^{\top}\mathbf{A}$ non è invertibile. La definizione basata sulla SVD risolve invece naturalmente il problema, sostituendo a ciascun valore singolare nullo un valore nullo nella matrice $\mathbf{\Sigma}^{+}$.

La soluzione generale del sistema omogeneo può essere espressa come

$$\mathbf{x} = \sum_{i=1}^{N}\beta_i\mathbf{v}_i$$ (1.24)

dove $\mathbf{v}_i$ sono le colonne della matrice $\mathbf{V}$ corrispondenti agli $N$ valori singolari nulli di $\mathbf{A}$.

Questo risultato sarà utilizzato nella sezione 2.9.1 nella trattazione dell'algoritmo PCA, dove la SVD verrà nuovamente utilizzata per individuare le direzioni principali di un insieme di dati.

Dal punto di vista numerico la SVD risulta quindi una delle tecniche più stabili e versatili per la risoluzione e l'analisi di sistemi lineari e, in tutto questo libro, si farà largo uso di tale tecnologia.