Restricted Boltzmann Machines

Figura 5.9: Restricted Boltzmann Machines.

Il punto di svolta tra le tecniche non profonde e le tecniche profonde di addestramento è considerato il 2006 quando Hinton e altri all'University of Toronto introducono le Deep Belief Networks (DBNs) (HOT06), un algoritmo che “avidamente” addestra una struttura a strati addestrando uno strato alla volta sfruttando un algoritmo di addestramento non-supervisionato. La peculiarità delle DBN consiste nel fatto che gli strati sono costituiti da Restricted Boltzmann Machines (RBM) (Smo86,FH94).

Sia $\mathbf{v} \in \{0,1\}^{n}$ una variabile stocastica binaria associata allo stato visibile e $\mathbf{h} \in \{0,1\}^{m}$ una variabile stocastica binaria associata allo stato nascosto. Dato uno stato $(\mathbf{v}, \mathbf{h})$ l'energia della configurazione degli strati visibili e nascosti è data da (Hop82)

$$E(\mathbf{v}, \mathbf{h} ) = - \sum_{i=1}^{n} a_i v_i - \su... ...1}^{m} b_j h_j - \sum_{i=1}^{n} \sum_{j=1}^{m} w_{i,j} v_i h_j$$ (5.128)

dove $v_i$ e $h_j$ sono gli stati binari dello strato visibile e dello strato nascosto rispettivamente $a_i$ e $b_j$ sono i bias delle unità visibili e nascoste, e $w_{i,j}$ sono i pesi delle connessioni tra le unità visibili e nascoste. Una Boltzmann Machine è simile ad una rete di Hopfield, con la differenza che tutti gli output sono stocastici. Si può pertanto definire la Boltzmann Machine come un caso speciale di modello di Ising che a sua volta è un caso particolare di Markov Random Field. Allo stesso modo le RBM possono essere interpretate come reti neurali stocastiche dove i nodi e le connessioni corrispondono ai neuroni e alle sinapsi, rispettivamente.

La probabilità della configurazione congiunta degli stati visibili $\mathbf{v}$ e nascosti $\mathbf{h}$, parametrizzata dai vettori $\mathbf{a}$, $\mathbf{b}$ e dalla matrice dei pesi $\mathbf{W}$, è data dalla distribuzione di Boltzmann:

$$P(\mathbf{v}, \mathbf{h} ) = \frac{1}{Z(\cdot)} e^{-E(\mathbf{v}, \mathbf{h}) }$$ (5.129)

dove la funzione di partizionamento $Z$ è data da

$$Z=\sum_{\mathbf{v}, \mathbf{h}} e^{-E(\mathbf{v}, \mathbf{h}) }$$ (5.130)

ossia la somma dei fattori di Boltzmann non normalizzati associati a tutte le possibili configurazioni delle unità visibili e nascoste. Da tale espressione si osserva che configurazioni con energia inferiore risultano più probabili rispetto a configurazioni ad energia elevata. L'addestramento della RBM consiste quindi nel modificare i parametri del modello in modo da assegnare bassa energia alle configurazioni compatibili con i dati di addestramento e alta energia alle configurazioni improbabili.

La parola restricted fa riferimento al fatto che non sono ammesse connessioni tra unità appartenenti allo stesso strato: le interazioni sono consentite esclusivamente tra unità visibili e unità nascoste. Questa restrizione implica che, fissato uno dei due strati, le unità dell'altro risultino condizionatamente indipendenti tra loro. Tale proprietà consente di campionare in modo efficiente gli stati visibili a partire da quelli nascosti e viceversa.

Dato un input $\mathbf{v}$, lo stato binario nascosto $h_j$ viene attivato con probabilità:

$$p(h_j = 1 \vert \mathbf{v}) = \sigma \left( b_j + \sum_i v_i w_{i,j} \right)$$ (5.131)

dove $\sigma(x)$ è la funzione logistica $1 / (1 + exp(-x) )$. Allo stesso modo si ottiene la probabilità di attivazione di un'unità visibile dato lo stato nascosto:

$$p(v_i = 1 \vert \mathbf{h}) = \sigma \left( a_i + \sum_j h_j w_{i,j} \right)$$ (5.132)

Stimare i parametri del modello $(\mathbf{a}, \mathbf{b}, \mathbf{W})$ in modo da modellare correttamente la distribuzione dei dati di addestramento è un compito computazionalmente oneroso. Tuttavia, nel 2002 Hinton propose l'algoritmo di Contrastive Divergence (CD), che permette un addestramento molto più efficiente delle RBM, rendendole finalmente utilizzabili su larga scala. Una descrizione dettagliata e pratica dell'addestramento delle RBM si può trovare in (Hin12).