Total Least Squares

Estendiamo ora il problema lineare $\mathbf{A}\mathbf{x}=\mathbf{b}+\delta$ al caso più generale dove anche la matrice dei coefficienti $\tilde{\mathbf{A}}=\mathbf{A}+\mathbf{E}$ è perturbata (Errors-In-Variables model EIV (VHV91)). Questo tipo di problema di regressione ai minimi quadrati è chiamato Total Least squares (TLS).

La soluzione del sistema perturbato

$$(\mathbf{A} + \mathbf{E}) \mathbf{x} = \mathbf{b} + \boldsymbol\delta$$ (3.21)

corrisponde a trovare la soluzione $\mathbf {x}$ che minimizzi la norma di Frobenius $\Vert ( \mathbf{E}  \boldsymbol\delta ) \Vert _F$, soggetta al vincolo (3.21). Con il TLS classico tutte le colonne della matrice dei dati contengono rumore. Se alcune colonne sono senza errori, allora la soluzione è chiamata mixed TLS-LS.

Il sistema (3.21) può essere riscritto come

$$\left( \left[ \mathbf{A}\vert\mathbf{b} \right] + \left[ \ma... ...\begin{bmatrix} \mathbf{x} \\ -1 \end{bmatrix} = \mathbf{0}$$ (3.22)

Sfruttando la decomposizione SVD e il teorema di Eckart-Young-Mirsky (la matrice formata dai primi $n$ termini della decomposizione SVD è la matrice che meglio approssima la matrice $\mathbf{Z}$ sotto la norma di Frobenius) è possibile trovare la soluzione del problema (3.21). Sia pertanto

$$\mathbf{C} := \left[ \mathbf{A}\vert\mathbf{b} \right] = \mathbf{U} \boldsymbol\Sigma \mathbf{V}^{\top}$$ (3.23)

la Decomposizione a Valori Singolari della matrice $\mathbf{C}$, dove $\boldsymbol\Sigma = \diag \left(\sigma_1 \ldots \sigma_{n+d}\right)$. La soluzione Total Least squares, se esiste, si scrive come

$$\hat{\mathbf{X}}_{tls} = - \mathbf{V}_{12} \mathbf{V}_{22}^{-1}$$ (3.24)

avendo partizionato

$$\mathbf{V}=\begin{bmatrix} \mathbf{V}_{11} & \mathbf{V}_{12... ...thbf{0} \\ \mathbf{0} & \boldsymbol\Sigma_2 \\ \end{bmatrix}$$ (3.25)

ed è possibile ottenere la miglior stima di $\hat{\mathbf{C}}$ come

$$\hat{\mathbf{C}}_{tls} = \mathbf{C} + \Delta \mathbf{C}_{tl... ...} \diag \left(\boldsymbol\Sigma_1, 0 \right) \mathbf{V}^{\top}$$ (3.26)