Regressione lineare ai minimi quadrati

Quando $f$ è una funzione lineare rispetto ai parametri $\boldsymbol\beta$ si parla di regressione lineare ai minimi quadrati (Linear Least Squares o Ordinary Least Squares OLS). Tale funzione può essere rappresentata nella forma di sistema lineare

$$y_i = \mathbf{x}_i \boldsymbol\beta + \varepsilon_i$$ (4.13)

dove $\boldsymbol\beta$ sono i parametri sconosciuti da ricavare e $\varepsilon_i$ è rumore additivo gaussiano bianco a media nulla. I parametri $\boldsymbol\beta$ sono i coefficienti della regressione: permettono di misurare l'associazione tra la variabile $\mathbf{x}_i$ e la variabile $y_i$.

Ogni osservazione è un vincolo e tutti i singoli vincoli possono essere raccolti in forma matriciale

$$\mathbf{y} = \mathbf{X} \boldsymbol\beta + \boldsymbol\varepsilon$$ (4.14)

$\mathbf{y} \in \mathbb{R}^n$ è il vettore delle risposte (variabili dipendenti), la matrice $\mathbf{X} \in \mathbb{R}^{n \times m}$ che raccoglie le variabili indipendenti (explanatory variables) viene chiamata design matrix, e infine $\boldsymbol\varepsilon$ è il vettore del rumore additivo a media nulla $\E[\boldsymbol\varepsilon]=0$ e matrice di covarianza $\boldsymbol\Sigma$. Il vettore dei parametri $\boldsymbol\beta$ è chiamato Linear Projection Coefficient o Linear Predictor. La variabile casuale $\mathbf{y}$ è pertanto formata da una parte deterministica e da una parte stocastica.

L'obiettivo è quello di trovare l'iperpiano $\boldsymbol\beta$ in $m$ dimensioni che meglio si adatta ai dati $(\mathbf{y},\mathbf{X})$.

Il valore $\boldsymbol\beta$ che minimizza la funzione costo definita in equazione (4.7), limitatamente al caso di rumore sull'osservazione a valor medio nullo e varianza costante fra tutti i campioni, di fatto è il miglior stimatore lineare che minimizza la varianza (Best Linear Unbiased Estimator BLUE).

Definizione 11   Il Best Linear Unbiased Estimator (BLUE) di un parametro $\boldsymbol\beta$ basato su un set di dati $Y$ è

1. uno stimatore lineare nelle osservazioni $Y$, in modo che lo stimatore possa essere scritto come $\hat{\boldsymbol\beta} = \mathbf{A} Y$;
2. deve essere unbiased ( $\E[\mathbf{A}Y] = \boldsymbol\beta$),
3. fra tutti gli stimatori lineari possibili è quello che produce la varianza minore.

Il teorema di Gauss-Markov dimostra che uno stimatore ai minimi quadrati è la miglior scelta tra tutti gli stimatori a minima varianza BLUE quando la varianza sull'osservazione è costante (homoscedastic).

La miglior stima ai minimi quadrati $\hat{\boldsymbol\beta}$ che minimizza la somma dei residui è la soluzione del problema lineare

$$\hat{\boldsymbol\beta} = \argmin_\mathbf{b} \Vert \boldsymbo... ...mathbf{X}^{\top} \mathbf{X})^{-1} \mathbf{X}^{\top} \mathbf{y}$$ (4.15)

Lo stesso risultato era già pervenuto nella sezione 1.1 riguardante la pseudoinversa di una matrice: una decomposizione SVD della matrice $\mathbf{X}$ ritorna anche la soluzione migliore dal punto di vista della propagazione degli errori di calcolo.

La matrice $\mathbf{P}$, definita come

$$\mathbf{P} = \mathbf{X} (\mathbf{X}^{\top} \mathbf{X} )^{-1} \mathbf{X}^{\top}$$ (4.16)

è una matrice di proiezione (projection matrix) che trasforma le uscite (response vector) $\mathbf{y}$ nella loro stima $\hat{\mathbf{y}}$ (stima dell'osservazione senza rumore):

$$\mathbf{P}\mathbf{y} = \mathbf{X}\hat{\boldsymbol\beta} = \hat{\mathbf{y}}.$$ (4.17)

Grazie a questa proprietà, $\mathbf{P}$ è chiamata hat matrix.

Nel caso di rumore a varianza non costante tra i campioni osservati (heteroscedastic), la regressione ai minimi quadrati pesata (Weighted Least Squares) è la scelta BLUE.

$$w_i = \frac{1}{\sigma_i}$$ (4.18)

dove $\sigma_i$ rappresenta la deviazione standard associata all'osservazione $y_i$ e $w_i>0$ il corrispondente peso.

Inserendo tali pesi in una matrice diagonale

$$\mathbf W = \operatorname{diag}(w_1,\ldots,w_n)$$ (4.19)

si ottiene un nuovo sistema lineare in cui tutte le osservazioni hanno varianza unitaria.

La soluzione può essere espressa come

$$\hat{\boldsymbol\beta} = (\mathbf W \mathbf X)^+ \mathbf W \mathbf y$$ (4.20)

con

$$\mathbf W^\top \mathbf W = \boldsymbol\Sigma^{-1}.$$ (4.21)

Generalizzando ulteriormente, nel caso di rumore con varianza non costante tra i campioni osservati e tra loro correlato, la miglior stima BLUE nel caso lineare deve tenere conto della covarianza del rumore $\boldsymbol\Sigma$:

$$\hat{\boldsymbol\beta} = (\mathbf{X}^{\top} \boldsymbol\Sigm... ...hbf{X})^{-1} \mathbf{X}^{\top}\boldsymbol\Sigma^{-1}\mathbf{y}$$ (4.22)

Tale estimatore è chiamato Generalized Least Squares (GLS).

Tale sistema minimizza la varianza

$$Var[\hat{\boldsymbol\beta}_{GLS}] = (\mathbf{X}^{\top} \boldsymbol\Sigma^{-1} \mathbf{X})^{-1}$$ (4.23)