M-Estimator

L'ampio utilizzo della regressione ai minimi quadrati (Least Squares) rispetto ad altre funzioni di perdita è motivato sia da ragioni statistiche sia computazionali. In presenza di errori gaussiani indipendenti e a varianza costante, infatti, essa coincide con lo stimatore di massima verosimiglianza; inoltre la funzione quadratica conduce a espressioni analitiche semplici per il gradiente e, nel caso differenziabile, per lo Jacobiano e l'Hessiana.

Nei problemi affrontati finora si è quasi sempre assunto che gli errori di osservazione fossero distribuiti normalmente e con varianza costante. Se il rumore fosse esclusivamente gaussiano tale approccio sarebbe teoricamente ottimale. Nelle applicazioni reali, tuttavia, i dati sono spesso costituiti da una combinazione di misure compatibili con il modello e osservazioni spurie (outlier) che non appartengono alla distribuzione principale. In queste condizioni la regressione ai minimi quadrati tende ad assegnare un peso eccessivo alle osservazioni molto distanti dal modello, poiché il residuo compare elevato al quadrato nella funzione costo. Anche un numero ridotto di outlier può quindi influenzare significativamente la stima finale dei parametri. Per ottenere stime più robuste è necessario modificare il modo in cui vengono valutati i residui, sostituendo la funzione quadratica con funzioni di perdita che crescono più lentamente per errori elevati. Un primo esempio è la regressione al valore assoluto (Least Absolute Deviations), nella quale il residuo contribuisce linearmente alla funzione costo anziché quadraticamente. L'ottimizzazione basata sulla norma $\ell_1$ è tuttavia più complessa rispetto al caso quadratico poiché la funzione non è differenziabile nell'origine e richiede tecniche numeriche dedicate. Per questo motivo sono state sviluppate numerose funzioni di perdita robuste, differenziabili e computazionalmente convenienti, note collettivamente come M-estimatori.

Peter Huber ha proposto nel 1964 una generalizzazione del concetto di minimizzazione alla massima verosimiglianza introducendo gli M-estimator.

Alcuni esempi di funzioni di regressione sono mostrati in figura 4.3.

Figura 4.3: Alcuni esempi di funzioni peso per regressioni: la regressione ai minimi quadrati (metrica L2), la regressione lineare (L1), gli stimatori di Huber, la biquadratica di Tukey, la funzione Lorentziana (Cauchy) e la funzione di Welsch (Leclerc).

Un M-Estimator sostituisce la metrica basata sulla somma dei quadrati a una metrica basata su una funzione $\rho$ (loss function) generica con un unico minimo in zero e con crescita sub-quadratica. Gli M-Estimator generalizzano la regressione ai minimi quadrati: ponendo $\rho(\mathbf{r})=\Vert\mathbf{r}\Vert^2$ si ottiene la forma classica della regressione.

Infine, se la funzione perdita è monotona crescente si parla di M-estimator mentre se la funzione perdita è crescente vicino a zero ma decrescente lontano da 0 si parla di Redescending M-estimator.

Indicando con $\rho$ la loss function robusta scelta, la stima dei parametri si ottiene risolvendo il problema di ottimizzazione

$$\min_\beta \sum_{i=1}^{n} \rho \left( \frac{\mathbf{r}_i}{\sigma_i} \right)$$ (4.133)

dove i residui sono stati normalizzati rispetto alla deviazione standard attesa dell'osservazione. La condizione di ottimalità associata a questo problema differisce da quella dei minimi quadrati a causa della diversa derivata della funzione $\rho$:

$$\sum_{i=1}^{n} \frac{1}{\sigma_i} \rho' \left( \frac{\mathbf... ...ial \mathbf{r}_i} {\partial \beta_j} = 0 \qquad j=1,\ldots,m.$$ (4.134)