Orthogonal Distance Fit

Nel caso in cui l'errore sia presente su entrambi gli assi (rumore funzione della distanza), la scrittura della funzione costo $S$ che massimizza la verosimiglianza è quella che viene chiamata Orthogonal least-squares line fit. L'errore può essere espresso infatti usando la distanza tra il punto e la retta, secondo equazione (1.31). La regressione che usa questa metrica, pertanto detta Perpendicular Regression o Total least squares (si veda sezione 3.2.2), ha senso quando entrambe le coordinate sono affette da errore ovvero sono entrambe variabili aleatorie. L'ammontare del rumore sulle due componenti è supposto uguale (per il caso più generale si veda la discussione in sezione 2.4). La funzione errore $S$ da minimizzare è la distanza tra il punto e la retta:

$$S = \frac{1}{2n}\sum_{i=1}^{n} { \frac{(a x_i + b y_i + c)^2}{a^2 + b^2} }$$ (3.77)

`e il minimo si trova in $\nabla S = 0$. È da notare che nel caso di distanza perpendicolare esiste come soluzione sia un minimo che un massimo e pertanto esisteranno due valori di rette (ortogonali tra loro) entrambe soluzioni del sistema.

Dalla derivata parziale $\frac{ \partial S}{\partial c}=0$ si ricava che la retta di regressione passa per il centroide $(\bar{x},\bar{y})$ della distribuzione, ovvero

$$c = - a \bar{x} - b \bar{y}$$ (3.78)

con $\bar{x}$ e $\bar{y}$ medie dei campioni $x_i$ e $y_i$ rispettivamente.

La funzione errore (3.77), usando la relazione (3.78), si può scrivere come:

$$S = \frac{a^2 \left(\bar{x^2} - \bar{x}^2 \right) + 2 ab \le... ... \right) + b^2 \left(\bar{y^2} - \bar{y}^2 \right)}{a^2 + b^2}$$ (3.79)

`ovvero, facendo sostituzioni adeguate $S_{xx} = \text{var}(x)$, $S_{yy} = \text{var}(y)$ e $S_{xy} = \text{cov}(x,y)$:

$$S = \frac{a^2 S_{xx} + 2 ab S_{xy} + b^2 S_{yy} }{a^2 + b^2}$$ (3.80)

più facilmente derivabile. L'espressione (3.80) dell'errore non è di carattere generale, ma vale solamente per tutte le rette che passano per il centroide della distribuzione. Essendo una forma omogenea è conosciuta a meno di un fattore moltiplicativo: non esiste pertanto una sola soluzione ma una relazione che lega i parametri. Escludendo i casi $a=0$, $b=0$ (da trattare a parte) il vincolo per ricavare il minimo/massimo ha la forma del tipo

$$(a^2 -b^{2}) S_{xy} + a b (S_{yy} - S_{xx}) = 0$$ (3.81)

soluzione del problema.

È da notare infine che il medesimo risultato si ottiene in maniera molto più semplice applicando la decomposizione SVD sull'equazione delle rette. Nel caso di regressione lineare la decomposizione SVD minimizza sia l'errore algebrico che geometrico (l'errore algebrico e geometrico coincidono quando tutti i termini affetti da rumore rimangono limitati al termine noto).