Le funzioni di attivazione

La funzione di attivazione (activation function) del neurone artificiale trasforma i valori di ingresso nelle uscite. Funzioni di attivazione comuni sono

• gradino (Heaviside) $h(x) = \left\{ \begin{array}{ll} 1 & \text{if } x \geq 0 \\ 0 & \text{if } x < 0 \end{array}\right.$
• sigmoide logistica $\sigma(x) = \frac{1}{1 + e^{-x}}$
• softsign $s(x) = \frac{x}{1 + \vert x\vert}$
• tangente iperbolica $\tanh(x) = \frac{e^{2x} - 1}{e^{2x} + 1}$
• rampa rettificata (ReLU) $r(x) = \max(0, x)$

Storicamente le reti neurali utilizzavano prevalentemente funzioni di attivazione sigmoidali, come la sigmoide logistica e la tangente iperbolica. Nelle reti profonde moderne sono invece molto diffuse le funzioni della famiglia ReLU, che risultano generalmente più semplici da ottimizzare e riducono i problemi di gradiente evanescente. I Neuroni Artificiali con la funzione di attivazione rampa sono definiti Rectified Linear Units (ReLUs) (KSH12a).