Valutazione dei parametri del modello

Trascurando la presenza di outlier nei dati in ingresso su cui eseguire la regressione, rimangono come importanti questioni aperte sia quella di dare un giudizio su quanto è buono il modello ottenuto e allo stesso tempo fornire un indice su quanto tale stima sia distante dal modello vero, a causa degli errori sui dati in ingresso.

In questa sezione viene trattato ampiamente il caso non-lineare: il caso lineare è equivalente usando al posto dello Jacobiano $\mathbf{J}$ la design matrix $\mathbf{X}$ in parte già affrontato in sezione 1.2.

Sia $\mathbf{y}=\left(y_1, \ldots, y_n \right)^{\top}$ un vettore di realizzazioni di variabili aleatorie statisticamente indipendenti $y \in \mathbb{R}$ e sia $\boldsymbol\beta=\left(\beta_1,\ldots,\beta_m\right)^\top \in \mathbb{R}^m$ il vettore dei parametri del modello. Uno stimatore intuitivo della bontà del modello è il root-mean-squared residual error (RMSE)

$$s = \sqrt{ \frac{ \sum^{n}_{i=1} \left( y_{i} - \hat{y}_{i} \right)^{2} } {n} }$$ (4.91)

con $\hat{y}_i = f(\mathbf{x}_i, \hat{\boldsymbol\beta} )$ valore stimato grazie al modello $f$ da cui sono stati ricavati i parametri $\hat{\boldsymbol\beta}$. Normalmente si è già vista questa funzione espressa sotto forma del residuo $r_i = y_i - \hat{y}_i$. Se lo stimatore non è affetto da bias (come accade per esempio nella regressione ai minimi quadrati) $\E [ r_i ] = 0$. Pertanto, sotto le ipotesi del modello e per un numero elevato di osservazioni, il valore di $s$ fornisce una stima della deviazione standard del rumore di osservazione $\sigma$.

Questo tuttavia non è un indice diretto della bontà della soluzione individuata ma solo quanto il modello trovato combacia con i dati in ingresso: si pensi ad esempio al caso limite dei sistemi non sovradimensionati dove il residuo sarà sempre zero, indipendentemente dalla quantità di rumore che agisce sulle singole osservazioni.

L'indice più adatto a stimare il modello è la matrice di varianza-covarianza dei parametri (Parameter Variances and Covariances matrix).

La propagazione in avanti della covarianza (covariance forward propagation) è stata già mostrata nella sezione 2.6 e, facendo un veloce rimando, esistono 3 metodi per eseguire tale operazione: `il primo è basato sull'approssimazione lineare del modello e coinvolge l'uso dello Jacobiano, il secondo è basato sulla più generica tecnica della simulazione Monte Carlo, e infine una via moderna alternativa, media tra le prime due, è la Unscented Transform (sezione 3.5) che permette, empiricamente, stime fino al terzo ordine in caso di rumore gaussiano.

Il voler valutare la bontà dei parametri individuati $\hat{\boldsymbol\beta}$ data la covarianza del rumore stimata (Covariance Matrix Estimation) è esattamente il caso opposto perché richiede di calcolare la propagazione all'indietro della varianza (backward propagation). Infatti, ottenuta tale matrice di covarianza, è possibile definire un intervallo di confidenza nell'intorno di $\hat{\boldsymbol\beta}$.

Tale bontà della stima dei parametri $\hat{\boldsymbol\beta}$, nel caso non-lineare, può essere valutata in prima approssimazione attraverso l'inversione della versione linearizzata del modello (ma anche in questo caso tecniche come la Montecarlo o la UT possono essere utilizzate per stime più rigorose).

È possibile stimare la matrice di covarianza associata alla soluzione $\hat{\boldsymbol\beta}$ assumendo che il modello $f$ sia differenziabile nell'intorno della soluzione. Sia

$$f : \mathbb{R}^m \to \mathbb{R}^n .$$

Indicando con $\boldsymbol\Sigma_{\varepsilon}$ la matrice di covarianza del rumore di osservazione e linearizzando il modello nell'intorno di $\hat{\boldsymbol\beta}$, la matrice di covarianza dei parametri può essere approssimata come

$$\Sigma_{\boldsymbol\beta} = \left( \mathbf{J}^{\top} \Sigma_{\varepsilon}^{-1} \mathbf{J} \right)^{-1}$$ (4.92)

con $\mathbf{J}$ Jacobiano dei residui (equivalentemente del modello, a meno del segno) calcolato nel punto $\hat{\boldsymbol\beta}$:

$$J_{i,j} = \frac{\partial r_i}{\partial \beta_j } (\hat{\bold... ...frac{\partial f_i}{\partial \beta_j } (\hat{\boldsymbol\beta})$$ (4.93)

L'equazione (4.92) si ricava manipolando l'equazione (2.38), equazione che calcola la propagazione in avanti dell'incertezza.

Si noti che questo (l'inverso della matrice dell'informazione) è il limite inferiore di Cramer-Rao sulla covarianza che può avere uno stimatore corretto del parametro $\boldsymbol\beta$.

Nei casi in cui la trasformazione $f$ sia sottodeterminata, il rango dello Jacobiano $d$, con $d<m$, è chiamato numero dei parametri essenziali (essential parameters). In caso di trasformazione $f$ sottodeterminata la formula (4.92) non è invertibile ma è possibile dimostrare che un'approssimazione della matrice di covarianza limitatamente alle direzioni osservabili può essere ottenuta mediante l'uso della pseudo-inversa:

$$\Sigma_{\boldsymbol\beta} = (\mathbf{J}^{\top} \Sigma_{\varepsilon}^{-1} \mathbf{J})^{+}$$

Alternativamente è possibile eseguire una decomposizione QR con Pivot dello Jacobiano, individuare le colonne linearmente dipendenti (attraverso l'analisi della diagonale della matrice R) e rimuoverle durante l'inversione stessa della matrice.

Nel caso invece molto comune in cui $f$ sia una funzione scalare e il rumore di osservazione sia indipendente e di varianza costante, la matrice di covarianza stimata asintoticamente (Asymptotic Covariance Matrix) si può scrivere in maniera più semplice come

$$\Sigma_{\boldsymbol\beta} = ( \mathbf{J}^{\top}\mathbf{J})^{-1} \sigma^{2}$$ (4.94)

con $\sigma^2$ varianza del rumore di osservazione avendo applicato l'ipotesi $\boldsymbol \Sigma_{\varepsilon} = \sigma^2 \mathbf{I}$ valida nel caso di osservazioni indipendenti e con uguale varianza. Poiché $\mathbf{J}$ dipende dalla struttura del modello e dal punto di linearizzazione scelto, la matrice $( \mathbf{J}^{\top}\mathbf{J})^{-1}$ è anche essa sola funzione del problema e non delle osservazioni. Asintoticamente lo stimatore $\hat{\boldsymbol\beta}$ risulta distribuito come

$$\hat{\boldsymbol\beta} \overset{a}{\sim} \mathcal N \left( \boldsymbol\beta, \Sigma_{\boldsymbol\beta} \right).$$

La matrice dello Jacobiano, in quanto indica quanto le uscite sono sensibili ai parametri, è anche chiamata sensitivity matrix.

La stima del rumore di osservazione può essere ottenuta empiricamente, assumendo per un numero elevato di osservazioni che la deviazione standard del rumore $\sigma$ sia approssimata dalla deviazione standard dei residui. Si ottiene quindi

$$\sigma^{2} \approx \frac{\sum_{i=1}^{n} r_i^2}{n-m}$$ (4.95)

e pertanto

$$\sigma \approx \sqrt{\frac{\sum_{i=1}^{n} r_i^2}{n-m}},$$ (4.96)

quantità nota come standard error of the regression.

Il denominatore $n-m$ rappresenta i gradi di libertà statistici del problema: quando il numero di incognite coincide con il numero di osservazioni non esistono gradi di libertà residui e la stima della varianza non è definita.

Lo stimatore di covarianza di Eicker-White è leggermente differente e viene lasciato al lettore il suo studio.

La matrice di varianza-covarianza dei parametri rappresenta l'elissoide dell'errore.

Una metrica utile per dare un voto al problema è la configurazione D-ottima (D-optimal design):

$$\det \left( \mathbf{J}^{\top}\mathbf{J} \right)^{-1}$$ (4.97)

che minimizza il determinante della matrice di varianza-covarianza, o nel caso opposto, che massimizza il determinante della matrice di informazione di Fisher:

$$\det \mathbf{F}\left( \boldsymbol\beta \right)$$ (4.98)

Geometricamente questo approccio minimizza il volume dell'elissoide dell'errore.

Altre metriche sono per esempio la configurazione E-ottima (E-optimal design) che consiste nel massimizzare il minimo autovalore della matrice di Fisher ovvero minimizzare il più grande autovalore della matrice di varianza-covarianza. Geometricamente questo minimizza il massimo diametro dell'elissoide.