Ensemble Learning

Il concetto di addestramento Ensemble richiama l'utilizzo di classificatori differenti ma uniti in un certo modo per riuscire a massimizzare le prestazioni usando i punti di forza di ognuno e limitando le debolezze dei singoli.

Alla base del concetto di Ensemble Learning ci sono i classificatori deboli (weak classifier): un classificatore debole riesce a classificare almeno il $50\%+1$ dei campioni di un problema binario. Sommati in un certo modo tra di loro, i classificatori deboli permettono di costruire un classificatore forte, risolvendo allo stesso tempo problemi tipici dei classificatori tradizionali (overfitting in primis).

Un contributo fondamentale alla teoria dell'apprendimento automatico fu fornito da Valiant (Val84), che introdusse il paradigma del Probably Approximately Correct Learning (PAC). Tale formalismo ha successivamente fornito le basi teoriche per lo studio dei classificatori deboli e di molte tecniche di Ensemble Learning.

Di fatto le tecniche di Ensemble Learning non forniscono classificatori general purpose, ma indicano solo il modo ottimo per unire più classificatori tra loro.

Esempi di tecniche di Ensemble Learning sono

Decision Tree

gli Alberi di Decisione, essendo costruiti da tanti Decision Stump in cascata sono un primo esempio di Ensemble Learning;

Bagging

il BootStrap AGGregatING prova a ridurre i problemi di overfitting addestrando diversi classificatori su sottoparti del training set ed eseguendo infine una votazione per maggioranza;

Boosting

Invece che prendere sottoparti del training set puramente casuali vengono, in parte, usati i campioni che rimangono non classificati correttamente;

AdaBoost

l'ADAptive BOOSTing (sezione 5.8.2) è l'algoritmo di Ensemble Learning più conosciuto e progenitore della famiglia molto florida di classificatori AnyBoost;

Random Forest^TM

è un BootStrap Aggregating (bagging) su Decision Tree, Ensemble Classifier composto da diversi alberi di decisione, ognuno creato su un sottoinsieme dei dati di addestramento e delle caratteristiche da analizzare, che votano per maggioranza;

e molti altri ancora.

Esempi di classificatori deboli ampiamente usati in letteratura sono i Decision Stump (AL92) associati alle feature di Haar (sezione 7.1). Il Decision Stump è un classificatore binario nella forma

$$h(\mathbf{x}) = \left\{ \begin{array}{ll} +1 & \quad \t... ...ta \\ -1 & \quad \text{otherwise} \\ \end{array}\right.$$ (5.89)

dove $f(\mathbf{x})$ è una funzione che estrae uno scalare dal campione da classificare, $p=\{ +1, -1 \}$ è una parità che serve per indicare la direzione della diseguaglianza e $\theta$ è la soglia di decisione (figura 5.4).