Ensemble Learning

Il concetto di addestramento Ensemble richiama l'utilizzo di classificatori differenti ma uniti in un certo modo per riuscire a massimizzare le prestazioni usando i punti di forza di ognuno e limitando le debolezze dei singoli.

Alla base del concetto di Ensemble Learning ci sono i classificatori deboli (weak classifier): un classificatore debole riesce a classificare almeno il $50\%+1$ dei campioni di un problema binario. Sommati in un certo modo tra di loro, i classificatori deboli permettono di costruire un classificatore forte, risolvendo allo stesso tempo problemi tipici dei classificatori tradizionali (overfitting in primis).

Un contributo fondamentale alla teoria dell'apprendimento automatico fu fornito da Valiant (Val84), che introdusse il paradigma del Probably Approximately Correct Learning (PAC). Tale formalismo ha successivamente fornito le basi teoriche per lo studio dei classificatori deboli e di molte tecniche di Ensemble Learning.

Di fatto le tecniche di Ensemble Learning non forniscono classificatori general purpose, ma indicano solo il modo ottimo per unire più classificatori tra loro.

Esempi di tecniche di Ensemble Learning sono

Bagging

il Bootstrap Aggregating prova a ridurre la varianza del classificatore addestrando diversi modelli su sottoparti del training set ed eseguendo infine una votazione per maggioranza;

Boosting

invece di utilizzare esclusivamente campioni estratti casualmente, assegna progressivamente maggiore peso ai campioni classificati in modo errato nelle iterazioni precedenti, costruendo una sequenza di classificatori complementari;

AdaBoost

l'ADAptive BOOSTing (sezione 5.8.2) è uno degli algoritmi di Ensemble Learning più conosciuti;

Random Forest^TM

è un Bootstrap Aggregating (bagging) applicato ad alberi di decisione, composto da diversi classificatori addestrati su sottoinsiemi casuali dei dati e delle caratteristiche e combinati tramite votazione maggioritaria.

e molti altri ancora.

Esempi di classificatori deboli ampiamente usati in letteratura sono i Decision Stump (AL92) associati alle feature di Haar (sezione 7.1). Il Decision Stump è un classificatore binario nella forma

$$h(\mathbf{x}) = \left\{ \begin{array}{ll} +1 & \quad \text... ...theta \\ -1 & \quad \text{otherwise} \\ \end{array}\right.$$ (5.89)

dove $f(\mathbf{x})$ è una funzione che estrae uno scalare dal campione da classificare, $p \in \{+1,-1\}$ è un parametro di parità che serve per indicare la direzione della diseguaglianza e $\theta$ è la soglia di decisione (figura 5.4).