Media e Varianza

È facile supporre che la nozione della media tra numeri sia un concetto conosciuto a tutti, almeno da un punto di vista puramente intuitivo. In questa sezione ne viene comunque fatto un breve riassunto, ne vengono date le definizioni e verranno sottolineati alcuni aspetti interessanti.

Per $n$ campioni di una quantità osservata $x$ la media campionaria sample mean si indica $\bar{x}$ e vale

$$\bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$$ (2.1)

La media campionaria, per definizione, è una quantità empirica.

Se si potessero campionare infiniti valori di $x$, $\bar{x}$ convergerebbe al valore teorico, atteso (expected value). Questa è la legge dei grandi numeri (Law of Large Numbers).

Il valor medio atteso (expectation, mean) di una variabile casuale $X$ si indica con $\E[X]$ o $\mu$ e si può calcolare da variabili aleatorie discrete attraverso la formula

$$\E[X] = \mu_x = \sum_{-\infty}^{+\infty} x_i p_X(x_i)$$ (2.2)

e per le variabili continue attraverso

$$\E[X] = \mu_x = \int_{-\infty}^{+\infty} x p_X(x) dx$$ (2.3)

data la conoscenza della distribuzione di probabilità $p_X(x)$.

Introduciamo ora il concetto di media di una funzione di variabile aleatoria.

Definizione 5   Sia $X$ una variabile aleatoria e sia $g(x)$ una funzione misurabile. Nel caso discreto, il valor medio della variabile aleatoria $Y=g(X)$ è definito come

$$\E[g(X)] = \sum_i g(x_i) p_X(x_i),$$ (2.4)

mentre nel caso continuo è definito come

$$\E[g(X)] = \int_{-\infty}^{+\infty} g(x) p_X(x)\,dx.$$ (2.5)

Esistono alcune funzioni la cui media assume un significato notevole. Quando $g(x)=x$ si parla di momento di primo ordine (first statistical moment), e in generale quando $g(x)=x^{k}$ si parla di momenti di $k$-ordine. Il valor medio è pertanto la statistica di primo ordine e un'altra statistica di particolare interesse è il momento di secondo ordine:

$$\E[X^{2}] = \int_{-\infty}^{+\infty} x^{2} p_X(x) dx$$ (2.6)

Tale statistica è importante perché permette di stimare la varianza di $X$.

La varianza è definita come il valore atteso del quadrato della variabile aleatoria $X$ a cui viene tolto il suo valor medio, ovvero momento di secondo ordine della funzione $g(X)= X-\E[X]$:

$$\text{var}(X) = \sigma^{2}_X = \E[ (X - \E[X])^{2} ]$$ (2.7)

Essendo $\E[X]$ una costante, sviluppando il quadrato si ottiene la forma equivalente e ampiamente usata

$$\text{var}(X) = \sigma^{2}_X = \E[X^{2}] - \E[X]^{2}$$ (2.8)

La radice quadrata della varianza è conosciuta come deviazione standard (standard deviation) e ha il vantaggio di avere la stessa unità di misura della grandezza osservata:

$$\sigma_X = \sqrt{ \text{var}(X) }$$ (2.9)

Estendiamo i concetti visti finora al caso multivariabile. Il caso multivariabile può essere visto come estensione a più dimensioni dove ad ogni dimensione è associata una diversa variabile.

La matrice delle covarianze $\Sigma$ è l'estensione a più dimensioni (o a più variabili) del concetto di varianza. È costruita come

$$\Sigma_{ij} =\text{cov}(X_i,X_j)$$ (2.10)

dove ogni elemento della matrice contiene la covarianza tra le varie componenti del vettore aleatorio $X$. La covarianza indica come le differenti variabili aleatorie che compongono il vettore $X$ sono tra loro legate.

I possibili modi di indicare la matrice di covarianza sono

$$\Sigma = \E \left[ (X - \E[X])(X - \E[X])^{\top} \right] = \text{var}(X) = \text{cov}(X) = \text{cov}(X,X)$$ (2.11)

La notazione della cross-covarianza è invece univoca

$$\text{cov}(X,Y) = \E \left[ (X - \E[X])(Y - \E[Y])^{\top} \right]$$ (2.12)

generalizzazione del concetto di matrice delle covarianze. La matrice di cross-covarianza $\boldsymbol\Sigma$ ha come elementi nella posizione $(i,j)$ la covarianza tra la variabile aleatoria $X_i$ e la variabile $Y_j$:

$$\boldsymbol\Sigma = \begin{bmatrix} \text{cov}(X_1,Y_1) & \... ...cov}(X_1,Y_m) & \cdots & \text{cov}(X_n,Y_m) \\ \end{bmatrix}$$ (2.13)

La matrice di covarianza $\text{cov}(X,X)$ è conseguentemente simmetrica.

La matrice di covarianza descrive come le diverse componenti siano reciprocamente correlate e viene anche chiamata matrice di dispersione (scatter matrix). L'inversa della matrice di covarianza si chiama matrice di concentrazione o matrice di precisione.

Nel caso scalare, il coefficiente di correlazione tra due variabili aleatorie $X$ e $Y$ è definito come

$$r(X,Y) = \frac{\text{cov}(X,Y)} {\sqrt{\text{var}(X)\,\text{var}(Y)}} = \frac{\text{cov}(X,Y)} {\sigma_X \sigma_Y}.$$ (2.14)

Il coefficiente di correlazione assume valori compresi nell'intervallo $[-1,1]$. Valori prossimi a $1$ indicano una forte correlazione positiva, valori prossimi a $-1$ una forte correlazione negativa, mentre valori prossimi a $0$ indicano assenza di correlazione lineare ^2.1.

Nel caso multivariabile si definisce analogamente una matrice di correlazione ottenuta normalizzando la matrice di cross-covarianza in modo che ogni elemento rappresenti il coefficiente di correlazione tra una componente di $X$ e una componente di $Y$. Anche in questo caso tutti gli elementi della matrice appartengono all'intervallo $[-1,1]$.

Footnotes

... lineare^2.1

Un coefficiente di correlazione nullo implica assenza di correlazione lineare ma non implica necessariamente indipendenza statistica.