L'utilizzo della regressione ai minimi quadrati (Least squares) dell'errore rispetto ad altre funzioni di peso è sia scelta per via della funzione di massima verosimiglianza ma soprattutto per via della semplicità delle derivate che si ottengono nello jacobiano.
Nei problemi visti finora si è quasi sempre supposta la varianza costante e gli errori di osservazioni distribuiti secondo una distribuzione normale. Se il rumore fosse solamente gaussiano questo approccio è teoricamente corretto, ma applicazioni reali presentano distribuzioni solitamente formate da rumore gaussiano appartenente al modello e rumore associato a elementi che non appartengono al modello stesso (outlier). In questa condizione la regressione ai minimi quadrati ha come conseguenza quella di trattare tutti i punti come se l'errore fosse gaussiano, ovvero pesando poco i punti vicini al modello e pesando invece molto i punti lontani dal modello i quali, per un puro discorso di probabilità, sono solitamente outlier.
Il modo di trattare in maniera univoca questi problemi è stato indicato da John Nelder che ha battezzato tali tecniche con il nome di modelli lineari generalizzati (GLM, General Linear Models).
Per risolvere questo problema è necessario cambiare la metrica attraverso la quale vengono valutati gli errori: un primo esempio di metrica differente che potrebbe risolvere il problema è la regressione al valore assoluto. Il calcolo tuttavia del minimo della funzione errore espresso come distanza in valore assoluto (Least absolute deviations regression) non è facile, in quanto la derivata non è continua e richiede l'utilizzo di tecniche iterative di ottimizzazione: metriche derivabile sono preferibili in questo caso.
Peter Huber ha proposto nel 1964 una generalizzazione del concetto di minimizzazione alla massima verosimiglianza introducendo gli M-estimator.
Alcuni esempi di funzioni di regressione sono mostrate in figura 3.3.
|
Un M-Estimator sostituisce la metrica basata sulla somma dei quadrati a una metrica basata su una funzione (loss function) generica con un unico minimo in zero e con crescita sub-quadratica. Gli M-Estimator generalizzano la regressione ai minimi quadrati: ponendo si ottiene la forma classica della regressione.
Infine, se la funzione perdita è monotona crescente si parla di M-estimator mentre se la funzione perdita è crescente vicino a zero ma decrescente lontano da 0 si parla di Redescending M-estimator.
La stima dei parametri si ottiene attraverso la minimizzazione di una sommatoria di quantità pesate generiche:
(3.105) |
(3.106) |
Paolo medici