Apprendimento Profondo

Le reti neurali, e in particolare il loro addestramento tramite backpropagation, presentano diverse problematiche pratiche:

• richiedono dati di addestramento etichettati, mentre nei contesti basati su grandi moli di dati (big data) la maggior parte dei dati può non essere categorizzata;
• il tempo di addestramento scala male sia con l'aumentare della dimensione della rete sia con l'aumentare della quantità di dati;
• l'ottimizzazione può bloccarsi in minimi locali, rendendo la rete sub-ottima;
• l'addestramento supervisionato di modelli profondi (reti con molti strati nascosti) è un problema di ottimizzazione particolarmente complesso.

Per affrontare queste sfide, si è sviluppata una branca del machine learning nota come deep learning, che sfrutta architetture profonde e tecniche avanzate per migliorare l'efficacia dell'apprendimento.

Gli esseri umani affrontano problemi complessi suddividendoli in sotto-problemi e livelli multipli di rappresentazione astratta. Analogamente, il deep learning consente a un sistema di apprendere rappresentazioni gerarchiche dei dati, mappando direttamente funzioni complesse tra ingresso e uscita, senza dipendere da caratteristiche progettate manualmente.

Questo approccio permette di generare astrazioni di alto livello, spesso non esplicitabili dagli esseri umani, ma più gestibili dal calcolatore.

Con l'aumento della disponibilità di dati e delle applicazioni del machine learning, le tecniche di apprendimento automatico stanno evolvendo rapidamente. L'obiettivo del deep learning è costruire rappresentazioni di alto livello dei dati attraverso l'uso di strati multipli di operazioni non lineari, come nelle Deep Neural Networks (DNN).