Il limite di Cramer-Rao

Il limite di Cramer-Rao (Cramer-Rao Lower Bound, CRLB) stabilisce un limite inferiore per la varianza di ogni stimatore corretto del parametro $\theta$ (per mantenere una simbologia comune con la letteratura, $\boldsymbol\beta$ nel nostro caso).

Sia $X$ una variabile aleatoria multidimensionale e $\theta$ un parametro deterministico sconosciuto. Sia $f(x;\theta)$ la densità di probabilità di $X$ parametrizzata da $\theta$. Assumiamo che tale densità esista, sia sufficientemente regolare e due volte differenziabile rispetto a $\theta$.

Teorema 1 (Disuguaglianza di Cramér-Rao)   Sia $T(X)$ uno stimatore corretto del parametro scalare $\theta$, ovvero tale che

$$\E_\theta[T(X)] = \theta ,$$

e si supponga che il supporto della distribuzione $f(x;\theta)$ non dipenda da $\theta$. Allora, sotto opportune ipotesi di regolarità,

$$\var _\theta[T(X)] \ge \frac{1}{I(\theta)}$$ (4.1)

dove

$$I(\theta) = \E_\theta \left[ \left( \frac{\partial}{\partial \theta} \ln f(X;\theta) \right)^2 \right]$$ (4.2)

è l'Informazione di Fisher associata al parametro $\theta$.

Poiché per uno stimatore corretto vale

$$\var _\theta[T(X)] = \E_\theta\!\left[ \left(T(X)-\theta\right)^2 \right],$$

la disuguaglianza di Cramér-Rao fornisce un limite inferiore alla varianza di qualsiasi stimatore corretto.

Siccome il parametro $\theta$ non è noto, il teorema di Cramér-Rao permette soprattutto di valutare se uno stimatore sia efficiente, cioè se la sua varianza si avvicini al minimo teoricamente ottenibile.