Regressione con rumore Anisotropo

Nel caso in cui il rumore di osservazione non sia isotropico non è più possibile usare la distanza euclidea per misurare l'errore ma è necessario passare alla distanza di Mahalanobis. Sotto questa differente metrica la funzione costo (3.42) si scrive

$$S(\boldsymbol\beta) = \left( \mathbf{r}(\boldsymbol\beta) \... ... \boldsymbol\Omega \left( \mathbf{r}(\boldsymbol\beta) \right)$$ (3.58)

dove $\boldsymbol\Omega = \boldsymbol\Sigma^{-1}$ è la matrice dell'informazione (information matrix) detta anche matrice di concentrazione o matrice di precisione. La distanza di Mahalanobis è lo stimatore ottimo nel senso di Maximum Likelihood quando il rumore è Gaussiano anisotropo a media nulla. Nel caso particolare in cui la matrice di covarianza sia diagonale questo approccio può ricondursi totalmente all'approccio ai minimi quadrati pesato.

L'espansione in serie di Taylor dell'equazione (3.58) si scrive

$$\begin{array}{rl} S(\boldsymbol\beta + \boldsymbol\delta) &... ...oldsymbol\delta^{\top} \mathbf{H} \boldsymbol\delta \end{array}$$ (3.59)

con $\mathbf{r}$ e $\mathbf{J}$ calcolate in $\boldsymbol\beta$. La matrice $\mathbf{H} = \mathbf{J}^{\top} \boldsymbol\Omega \mathbf{J}$ è la matrice dell'informazione dell'intero sistema in quanto ottenuta dalla proiezione dell'errore di misura nello spazio dei parametri attraverso lo Jacobiano $\mathbf{J}$ mentre $\mathbf{b} = \mathbf{r}^{\top} \boldsymbol\Omega \mathbf{J}$ è stato introdotto per compattezza.

Le derivate della funzione $S$ di conseguenza diventano

$$\dfrac{\partial S(\boldsymbol\beta + \boldsymbol\delta)}{\p... ...l\delta} \approx 2 \mathbf{b} + 2 \mathbf{H} \boldsymbol\delta$$ (3.60)

Da questo risultato, se si vuole trovare il minimo della funzione costo $S$ usando Gauss-Newton si ottiene un risultato simile a quello visto in precedenza

$$\mathbf{H} \boldsymbol\delta = - \mathbf{b}$$ (3.61)

risultato molto simile a quella di equazione (3.45) ottenuta da Gauss-Newton con rumore isotropo.