Rappresentazione neurale e campi di radianza

I metodi tradizionali basati su mesh o nuvole di punti richiedono una rappresentazione esplicita della geometria e separano generalmente la geometria dal modello di aspetto. Questo può rendere più complessa la rappresentazione di fenomeni dipendenti dal punto di vista, come riflessioni speculari e trasparenze. Per superare questi limiti, i campi di radianza neurali (Neural Radiance Fields, o NeRF) introducono una rappresentazione implicita e continua della scena, in cui la geometria e l'aspetto visivo sono codificati implicitamente all'interno dei pesi di una rete neurale profonda (tipicamente un perceptron multilayer, o MLP).

Formalmente, un campo di radianza neurale mappa una posizione spaziale tridimensionale $\mathbf{x} = (x, y, z)^{\top}$ e una direzione di osservazione unitaria $\mathbf{d} = (\theta, \phi)$ in una densità di volume $\sigma$ e in un colore RGB $\mathbf{c}$:

$$\Theta(\mathbf{x}, \mathbf{d}) \rightarrow (\mathbf{c}, \sigma)$$ (10.118)

dove:

• La densità volumetrica $\sigma(\mathbf{x}) \geq 0$ rappresenta il coefficiente locale di attenuazione o estinzione della radiazione. Valori elevati di $\sigma$ indicano regioni dello spazio nelle quali la radiazione viene maggiormente attenuata lungo il percorso, definendo implicitamente la geometria della scena.
• Il colore $\mathbf{c}(\mathbf{x},\mathbf{d})$ rappresenta la radiance RGB associata alla posizione $\mathbf {x}$ e alla direzione di osservazione $\mathbf{d}$, consentendo di modellare fenomeni dipendenti dal punto di vista.

L'addestramento di questa rappresentazione avviene per ottimizzazione differenziabile (inverse rendering): a partire da un insieme di immagini calibrate acquisite da diverse angolazioni, i raggi ottici vengono proiettati virtualmente nella scena e campionati. Il colore finale del pixel viene calcolato integrando i campioni lungo il raggio tramite il modello di rendering volumetrico descritto nella sezione precedente. L'errore tra i pixel renderizzati e le immagini reali viene quindi retropropagato attraverso la rete per raffinare continuamente la geometria e l'aspetto della scena.