Regressione lineare a funzione polinomiale

Si può facilmente generalizzare la regressione lineare a una qualunque funzione polinomiale, del tipo:

$$y = a_0 + a_1 x + a_2 x^2 + \ldots + a_N x^N$$ (3.31)

i cui parametri si ottengono nuovamente cercando il minimo della funzione errore descritta in 3.1, dove $a_0 \ldots a_N$ sono i parametri della curva da ricavare. Le derivate di una funzione polinomiale sono notevoli:

$$\begin{array}{rl} \frac{\partial S}{\partial a_j} & = \sum_{i... ..._i^j + \ldots + a_N \sum x_i^{j+N} - \sum y_i x_i^j \end{array}$$ (3.32)

Il porre il gradiente nullo significa risolvere pertanto il sistema associato:

$$\begin{bmatrix}\sum 1 & \ldots & \sum x_i^{N} \sum x_i & \ldot... ...bmatrix} = \begin{bmatrix}\sum y_i \vdots \sum y_i x_i^N \end{bmatrix}$$ (3.33)

che è una matrice simmetrica.

Alterenativamente è possibile sfruttare la teoria della pseudoinversa (sezione 1.1) e usare direttamente l'equazione 3.31 per ottenere i coefficienti del polinomio che minimizzino l'errore ai minimi quadrati. Se si pensa alla pseudoinversa risolta con il metodo delle normal equations si vede che il sistema risultante è esattamente lo stesso di equazione 3.33.