Minimi quadrati riponderati iterativamente

Una tecnica ortogonale agli M-Estimator è la tecnica dei minimi quadrati riponderati iterativamente (IRLS, Iteratively Reweighted Least Squares) (gre84). È una tecnica dove ad ogni iterazione vengono stimati nuovi pesi con i quali ricavare una nuova soluzione. Tale tecnica si può applicare sia a problemi lineari che non-lineari.

Nel caso lineare l'obiettivo è quello di minimizzare una funzione costo del tipo

$$\Vert \mathbf{W} \mathbf{r} \Vert^2 = \sum_i w_i^2 r_i^2 = \mathbf{r}^{\top} \mathbf{W}^{\top} \mathbf{W} \mathbf{r}$$ (3.118)

dove la matrice $\mathbf{W}$ è una matrice diagonale con i pesi $w_i$ posti lungo la diagonale.

Nel caso di problema sovradimensionato questo ha soluzione

$$\mathbf{x} = \left[ \mathbf{A}^{\top} \mathbf{W}^{\top} \mat... ...{-1} \mathbf{A}^{\top} \mathbf{W}^{\top} \mathbf{W} \mathbf{b}$$ (3.119)

Si applica lo stesso approccio a sistemi non-lineari.