Condizionamento dei sistemi sovradimensionati

Nella sezione precedente si è discusso come si propaga il rumore attraverso una applicazione lineare. In questa sezione si analizza il caso complementare dove il modello stesso della trasformazione lineare è perturbato da rumore.

Sia

$$\mathbf{A} \mathbf{x} = \mathbf{b}$$ (2.33)

un sistema lineare ideale, non affetto da rumore, con $\mathbf{x}$ la soluzione esatta del problema. Una perturbazione sulla colonna dei termini noti $\tilde{\mathbf{b}} = \mathbf{b} + \delta \mathbf{b}$ provoca una perturbazione $\tilde{\mathbf{x}} = \mathbf{x} + \delta \mathbf{x}$ sulla soluzione di entità pari a

$$\delta \mathbf{x} = \mathbf{A}^{-1} \delta \mathbf{b}$$ (2.34)

Un indice più interessante è calcolare la norma di tale errore in relazione al valore atteso. Tale relazione esiste e vale

$$\frac{\Vert \delta \mathbf{x} \Vert}{\Vert \mathbf{x} \Vert} \leq... ...\kappa(\mathbf{A}) \frac{\Vert \delta \mathbf{b} \Vert}{\Vert \mathbf{b} \Vert}$$ (2.35)

avendo definito $\kappa(\mathbf{A})$ numero di condizionamento (condition number) della matrice dei coefficienti (sensitivity matrix) $\mathbf{A}$. Il caso particolare in cui $\mathbf{A}$ è singolare, il condizionamento della matrice si pone pari a $\kappa(\mathbf{A})=\infty$.

È possibile ricavare il condizionamento di una matrice usando un'ulteriore proprietà della decomposizione SVD. Se si esplicita l'equazione 1.6 si ottiene che un sistema lineare, scritto in forma di decomposizione della matrice dei coefficienti, ha come soluzione

$$\mathbf{x}=\sum \frac{ \mathbf{u}^{\top}_i \mathbf{b} } {\sigma_i} \mathbf{v}_i$$ (2.36)

Quando i valori singolari $\sigma_i$ sono bassi, piccole variazioni al numeratore sono amplificate: sotto la norma euclidea il numero di condizionamento di una matrice è esattamente il rapporto tra il più grande valore singolare rispetto al più piccolo. Il condizionamento è sempre positivo e un condizionamento prossimo all'unità indica una matrice ben condizionata.

Riassumendo il condizionamento ha le seguenti importanti proprietà:

• $\kappa(\mathbf{A}) = \kappa(\mathbf{A}^{-1})$
• $\kappa(c \mathbf{A}) = \kappa(\mathbf{A})$ per ogni $c \neq 0$
• $\kappa(\mathbf{A}) \geq 1$
• $\kappa(\mathbf{A}) = \frac{\sigma_1}{\sigma_n}$ se la norma è euclidea
• $\kappa(\mathbf{A}) = 1$ se $\mathbf{A}$ è ortogonale

Come già fatto notare nella sezione 1.1 la soluzione alle equazioni perpendicolari tende invece ad amplificare gli errori in quanto:

$$\kappa \left(\mathbf{A}^{\top}\mathbf{A} \right) = \left( \frac{\sigma_1}{\sigma^{n}} \right)^{2}$$ (2.37)

Nel caso di solo rumore di osservazione sul termine noto $\mathbf{b}$ la regressione a minimi quadrati pesata è la scelta dal punto baesiano (BLUE) ottima:

$$w_i = \frac{1}{\sigma^{2}_i}$$ (2.38)

In questo modo si ottiene un nuovo sistema lineare dove ogni riga ha la medesima varianza di osservazione.