Propagazione dell'incertezza

Nella sezione 1.2 è stata studiata la sensibilità di un sistema lineare rispetto a perturbazioni dei dati attraverso il numero di condizionamento. Tale analisi considera la perturbazione in termini deterministici, senza specificare quale sia la sua distribuzione statistica.

Nel seguito si assume invece che l'errore sulle osservazioni sia una variabile aleatoria. In questo caso non interessa soltanto determinare quanto una perturbazione possa modificare la soluzione, ma anche caratterizzare statisticamente tale variazione, ad esempio attraverso la sua varianza o, nel caso multidimensionale, attraverso la matrice di covarianza.

Consideriamo pertanto una trasformazione lineare

$$\mathbf{y}=\mathbf{A}\mathbf{x}.$$ (2.28)

Se $\mathbf {x}$ è una variabile aleatoria con matrice di covarianza $\boldsymbol\Sigma_x$, la covarianza della variabile $\mathbf{y}$ è

$$\boxed{ \boldsymbol\Sigma_y = \mathbf{A}\boldsymbol\Sigma_x\mathbf{A}^{\top} }.$$ (2.29)

Questa relazione descrive quindi la propagazione statistica dell'incertezza attraverso il sistema lineare.

Nel caso di un sistema lineare inverso, con $\mathbf{A}$ quadrata e invertibile,

$$\mathbf{x}=\mathbf{A}^{-1}\mathbf{b},$$ (2.30)

si ottiene analogamente

$$\boxed{ \boldsymbol\Sigma_x = \mathbf{A}^{-1} \boldsymbol\Sigma_b \mathbf{A}^{-\top} }.$$ (2.31)

La relazione mostra un aspetto complementare rispetto al numero di condizionamento. Il condizionamento fornisce un limite al fattore di amplificazione relativa di una perturbazione, mentre la matrice di covarianza descrive come una specifica distribuzione dell'errore venga trasformata dal sistema.

Nel caso di un sistema sovradimensionato risolto ai minimi quadrati, assumendo $\mathbf{A}$ nota e a rango colonnare pieno,

$$\hat{\mathbf{x}} = \mathbf{A}^{+}\mathbf{b},$$ (2.32)

e quindi, se l'incertezza è presente nel solo vettore $\mathbf{b}$,

$$\boxed{ \boldsymbol\Sigma_{\hat{x}} = \mathbf{A}^{+} \boldsymbol\Sigma_b (\mathbf{A}^{+})^{\top} }.$$ (2.33)

Questa relazione costituisce il collegamento tra la teoria dei sistemi lineari sovradimensionati e la propagazione dell'incertezza statistica.

Generalizzando il caso lineare, consideriamo una trasformazione affine

$$f(\mathbf{x}) = f(\bar{\mathbf{x}}) + \mathbf{A}(\mathbf{x}-\bar{\mathbf{x}}),$$ (2.34)

dove $\bar{\mathbf{x}}=\E[\mathbf{x}]$. La variabile aleatoria $Y=f(X)$ ha quindi valor medio

$$\bar{\mathbf{y}}=f(\bar{\mathbf{x}})$$ (2.35)

e matrice di covarianza

$$\boldsymbol\Sigma_y = \mathbf{A}\boldsymbol\Sigma_x\mathbf{A}^{\top}.$$ (2.36)

Il caso affine sarà particolarmente utile per trattare le trasformazioni non lineari, che possono essere localmente approssimate mediante una trasformazione affine.

Trasformazioni non lineari

La propagazione della covarianza nel caso non lineare non è infatti facilmente ottenibile in forma chiusa e in genere deve essere calcolata in forma approssimata. Tecniche come la simulazione Monte Carlo possono essere usate per approssimare la distribuzione di probabilità risultante da una generica trasformazione non lineare.

L'approssimazione lineare è comunque ampiamente usata nei problemi pratici. In particolare, per una propagazione dell'errore al primo ordine (first-order error propagation), la trasformazione $f$ non lineare viene approssimata, attraverso lo sviluppo in serie di Taylor, da una trasformazione affine

$$f(\mathbf{x}) \approx f(\bar{\mathbf{x}}) + \mathbf{J}_f(\mathbf{x}-\bar{\mathbf{x}})$$ (2.37)

con $\mathbf{J}_f$ matrice delle derivate parziali (Jacobiano) della funzione $f$, valutata nel punto $\bar{\mathbf{x}}$.

Con questa approssimazione, il risultato del caso affine mostrato in precedenza in equazione (2.34) può essere usato per determinare la matrice di covarianza della variabile $f(\mathbf{x})$, sostituendo alla matrice $\mathbf{A}$ lo Jacobiano, ottenendo

$$\boldsymbol\Sigma_y = \mathbf{J}_f \boldsymbol\Sigma_x \mathbf{J}_f^{\top}.$$ (2.38)

In questa approssimazione, il valor medio della variabile trasformata viene assunto pari a

$$\bar{\mathbf{y}} = f(\bar{\mathbf{x}}).$$ (2.39)

La linearizzazione locale costituisce inoltre il principio alla base della propagazione dell'incertezza utilizzata nel Filtro di Kalman Esteso, mentre nel caso dei filtri sigma-point la trasformazione non lineare viene trattata senza calcolare esplicitamente lo Jacobiano.