Pseudoinversa di Moore–Penrose

La soluzione (1.6) suggerisce di introdurre una matrice che, applicata al vettore $\mathbf{y}$, permetta di ottenere direttamente la soluzione ai minimi quadrati. Nel caso di rango colonnare pieno tale matrice è

$$\left(\mathbf{A}^{\top}\mathbf{A}\right)^{-1}\mathbf{A}^{\top}.$$ (1.8)

Questa espressione, tuttavia, non rappresenta la definizione generale della pseudoinversa, in quanto richiede che $\mathbf{A}^{\top}\mathbf{A}$ sia invertibile.

La definizione generale della pseudoinversa di Moore–Penrose si ottiene naturalmente attraverso la decomposizione ai valori singolari (Singular Value Decomposition, SVD). Sia

$$\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^{\top}$$ (1.9)

la decomposizione ai valori singolari di $\mathbf{A}$, dove, nella versione ridotta per $m\geq n$,

$$\mathbf{U}\in\mathbb{R}^{m\times n}, \qquad \mathbf{\Sigma}\... ...bb{R}^{n\times n}, \qquad \mathbf{V}\in\mathbb{R}^{n\times n},$$

con colonne ortonormali per $\mathbf{U}$ e $\mathbf{V}$ e con $\mathbf{\Sigma}$ diagonale:

$$\mathbf{\Sigma} = \operatorname{diag} \left( \sigma_1,\sigma... ...ight), \qquad \sigma_1\geq\sigma_2\geq\ldots\geq\sigma_n\geq0.$$ (1.10)

I valori $\sigma_i$ sono detti valori singolari di $\mathbf{A}$ e sono legati agli autovalori delle matrici $\mathbf{A}^{\top}\mathbf{A}$ e $\mathbf{A}\mathbf{A}^{\top}$ dalla relazione

$$\sigma_i^2=\lambda_i.$$ (1.11)

La pseudoinversa di Moore–Penrose di $\mathbf{A}$ è definita come

$$\mathbf{A}^{+} = \mathbf{V}\mathbf{\Sigma}^{+}\mathbf{U}^{\top},$$ (1.12)

dove $\mathbf{\Sigma}^{+}$ è ottenuta sostituendo ogni valore singolare non nullo con il suo reciproco e lasciando a zero quelli nulli:

$$\left(\mathbf{\Sigma}^{+}\right)_{ii} = \begin{cases} \dfrac... ...t{se }\sigma_i>0,\\ [6pt] 0 & \text{se }\sigma_i=0. \end{cases}$$ (1.13)

Questa definizione è generale e la pseudoinversa di Moore–Penrose esiste ed è unica per qualsiasi matrice, anche quando $\mathbf{A}$ non ha rango pieno. La soluzione ai minimi quadrati può quindi essere espressa in forma compatta come

$$\hat{\mathbf{x}} = \mathbf{A}^{+}\mathbf{y}.$$ (1.14)

Nel caso in cui il sistema ammetta più soluzioni ai minimi quadrati, $\mathbf{A}^{+}\mathbf{y}$ restituisce inoltre la soluzione di norma minima.

Nel caso particolare in cui $\mathbf{A}$ abbia rango colonnare pieno, la definizione (1.12) coincide con l'espressione ottenuta dalle equazioni normali. Infatti:

$$\begin{split} \mathbf{A}^{\top}\mathbf{A} &= \mathbf{V}\math... ... &= \mathbf{V}\mathbf{\Sigma}^{2}\mathbf{V}^{\top}, \end{split}$$ (1.15)

da cui

$$\begin{split} \left(\mathbf{A}^{\top}\mathbf{A}\right)^{-1}\... ...\Sigma}^{-1}\mathbf{U}^{\top}\\ &= \mathbf{A}^{+}. \end{split}$$ (1.16)

Pertanto

$$\boxed{ \mathbf{A}^{+} = \left(\mathbf{A}^{\top}\mathbf{A}\right)^{-1} \mathbf{A}^{\top} }$$ (1.17)

rappresenta solamente il caso particolare della pseudoinversa per matrici $\mathbf{A}$ con rango colonnare pieno.