Media e Varianza

È facile supporre che la nozione della media tra numeri è un concetto conosciuto a quasi tutti, almeno dal punto di vista intuitivo. In ogni caso nulla impedisce di fare un breve riassunto.

Per $n$ campioni di una quantità osservata $x$ la media campionaria sample mean si indica $\bar{x}$ e vale

$$\bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$$ (2.1)

Se si potessero campionare infiniti valori di $x$, $\bar{x}$ convergerebbe al valore teorico, atteso (expected value). Questa è la legge dei grandi numeri (Law of Large Numbers).

Il valor medio atteso (expectation, mean) di una variabile casuale $X$ si indica con $\mathbb{E}[X]$ o $\mu$ e si può calcolare da variabili aleatorie discrete attraverso la formula

$$\mathbb{E}[X] = \mu_x = \sum_{-\infty}^{+\infty} x_i p_i$$ (2.2)

e per le variabili continue attraverso

$$\mathbb{E}[X] = \mu_x = \int_{-\infty}^{+\infty} x f_X(x) dx$$ (2.3)

È interessante introdurre il concetto della media di una funzione di una variabile aleatoria:

$$\mathbb{E}[g(X)] = \sum_{-\infty}^{+\infty} g(x_i) p_i \qquad \mathbb{E}[g(X)] = \int_{-\infty}^{+\infty} g(x) f_X(x) dx$$ (2.4)

Quando $g(x)=x$ si parla di statistiche di primo ordine (first statistical moment), e in generale $g(x)=x^{k}$ si parla di statistiche di k-ordine. Una statistica in particolare interesse è il momento di secondo ordine:

$$\mathbb{E}[X^{2}] = \int_{-\infty}^{+\infty} x^{2} f_X(x) dx$$ (2.5)

La varianza è definita come il valore atteso del quadrato della variabile aleatoria $X$ a cui viene tolto il suo valor medio $g(X)=X-\mathbb{E}[X]$:

$$(X) = \sigma^{2}_X = \mathbb{E}[ (X - \mathbb{E}[X])^{2} ]$$ (2.6)

essendo processi indipendenti:

$$(X) = \sigma^{2}_X = \mathbb{E}[X^{2}] - \mathbb{E}[X]^{2}$$ (2.7)

La radice quadrata della varianza è conosciuta come deviazione standard (standard deviation) e ha il vantaggio di avere la stessa unità di misura della grandezza osservata:

$$\sigma_X = \sqrt{ \text{Var}(X) }$$ (2.8)

La matrice delle covarianze $\Sigma$ è l'estensione a più dimensioni del concetto di covarianza. È costruita come

$$\Sigma_{ij} = (X_i,X_j)$$ (2.9)

dove ogni elemento della matrice contiene la covarianza tra le dimensioni del vettore aleatorio $X$. La covarianza indica come una serie di variabili sono tra loro legate.

I possibili modi di indicare la matrice di covarianza sono

$$\Sigma = \mathbb{E} \left[ (X - \mathbb{E}[X])(X - \mathbb{E}[X])^{\top} \right] = (X) = (X) = (X,X)$$ (2.10)

La notazione invece della cross-covarianza è una sola:

$$(X,Y) = \mathbb{E} \left[ (X - \mathbb{E}[X])(Y - \mathbb{E}[Y])^{\top} \right]$$ (2.11)

generalizzazione del concetto di matrice delle covarianze.

La matrice di cross-covarianza $\boldsymbol\Sigma$ ha come elementi nella posizione $(i,j)$ la covarianza tra la variabile aleatoria $X_i$ e la variabile $Y_j$:

$$\boldsymbol\Sigma = \begin{bmatrix}\text{Cov}(X_1,Y_1) & \cdots &... ...& \vdots \text{Cov}(X_1,Y_m) & \cdots & \text{Cov}(X_n,Y_m) \end{bmatrix}$$ (2.12)

La matrice di covarianza Cov$(X,X)$ è conseguentemente simmetrica.

La matrice di covarianza è chiamata matrice di dispersione. L'inversa della matrice di covarianza si chiama matrice di concentrazione o matrice di precisione.

La matrice di correlazione è la matrice di cross-covarianza normalizzata rispetto alle matrici di covarianza:

$$\mathbf{r} = \frac{\text{Cov}(X,Y) } {\sqrt{\text{Var}(X) \text{Var}(Y) } }$$ (2.13)