Generalizzare l'addestramento

Nel corso del capitolo sono stati introdotti numerosi modelli di classificazione e differenti strategie di addestramento. Sebbene gli algoritmi siano molto diversi tra loro, tutti condividono lo stesso obiettivo: ottenere buone prestazioni non solo sui dati di addestramento ma anche su campioni mai osservati in precedenza. Questo problema prende il nome di generalizzazione.

È importante osservare che le tecniche di Machine Learning sono molto più di un semplice problema di ottimizzazione. Uno degli obiettivi che ci si pone durante l'addestramento è fare in modo che il sistema sia capace di classificare nuovi campioni che ancora non ha visionato. Una via per combattere l'overfitting è la “regolarizzazione”. Esistono diverse tecniche in letteratura per la regolarizzazione: le principali sono la regolarizzazione L1/L2 e l'uscita anticipata (early-stopping).