Orthogonal Distance Fit

Una scrittura della funzione costo $S$ corretta nel caso di errore su entrambi gli assi è la Orthogonal least-squares line fit. L'errore può essere espresso usando la distanza tra il punto e la retta in esame (equazione 1.18). Tale distanza, detta anche Perpendicular Regression o Total least squares (si veda sezione 2.8), ha senso quando entrambe le coordinate sono affette da errore o sono variabili aleatorie. La funzione errore $S$ da minimizzare è la distanza tra il punto e la retta:

$$S = \frac{1}{n}\sum_{i=1}^{n} { \frac{(a x_i + b y_i + c)^2}{a^2 + b^2} }$$ (3.24)

È da notare che nel caso di distanza perpendicolare esiste come soluzione sia un minimo che un massimo e pertanto esisteranno due valori di rette (ortogonali tra loro) entrambe soluzioni del sistema.

Agendo sulle derivate, si può subito dire da $\frac{ \partial S}{\partial c}$ che la retta regressione passa per il centroide $(E[X],E[Y])$ della distribuzione, ovvero che

$$c = - a E[X] - b E[Y]$$ (3.25)

La misura dell'errore, partendo da 3.24, sostituendo 3.25 e svolgendo la sommatoria, si può scrivere come:

$$S = \frac{a^2 (E[X^2] - E[X]^2) + 2 ab (E[XY] - E[X]E[Y]) - b^2 (E[Y^2] - E[Y]^2) }{a^2 + b^2}$$ (3.26)

ovvero, facendo sostituzioni adeguate $S_{x} = E[X^2] - E[X]^2$, $S_{y} = E[Y^2] - E[Y]^2$ e $S_{xy} =E[XY] - E[X]E[Y]$:

$$S = \frac{a^2 S_x + 2 ab S_{xy} + b^2 S_y }{a^2 + b^2}$$ (3.27)

più facilmente derivabile. L'espressione 3.27 dell'errore non è di carattere generale, ma vale solamente per tutte le rette che passano per il centroide della distribuzione. Escludendo i casi $a=0$, $b=0$ (da trattare a parte) il vincolo per ricavare il minimo/massimo ha la forma del tipo

$$a^2 S_{xy} + 2 a b \frac{S_{y} - S_{x}}{2} - b^2 S_{xy} = 0$$ (3.28)

soluzione del problema.

È da notare infine che il medesimo risultato si ottiene in maniera molto più semplice applicando la decomposizione SVD ai punti. Nel caso di regressione lineare la decomposizione SVD minimizza sia l'errore algebrico che geometrico (l'errore algebrico e geometrico coincidono quando tutti i termini affetti da rumore sono nel termine noto).