Matrice Essenziale e matrice Fondamentale

Nel 1981, Christopher Longuet-Higgins (Lon81) osserva per primo che un generico punto espresso in coordinate mondo, i rispettivi punti in coordinate camera e i pin-hole devono essere tra loro coplanari. La derivazione geometrica delle relazioni che intercorrono tra i punti viene tralasciata ma viene presentata direttamente quella analitica.

È stato più volte ripetuto che un punto su un'immagine sottende una retta nel mondo, e la retta nel mondo proiettata su un'altra immagine, acquisita da una camera posta in un punto di vista differente, rappresenta la retta epipolare dove giace l'omologo del punto della prima immagine. Tale equazione, che lega punti di un'immagine con rette nell'altra, può essere espressa attraverso una forma matriciale.

Per seguire il ragionamento di Longuet-Higgins, la matrice dei parametri intrinseci verrà sottintesa e le coordinate usate saranno quelle camera normalizzate.

Senza perdere generalità, si consideri pertanto un sistema costituito da due camere. Si assuma come sistema di riferimento quello della seconda camera, il cui centro di proiezione coincide quindi con l'origine e i cui assi coincidono con quelli del sistema di riferimento. La posa della prima camera rispetto alla seconda è descritta dalla rotazione

$$\mathbf{R}=\prescript{2}{}{\mathbf{R}}_{1}$$

e dalla traslazione $\mathbf{t}$, che rappresenta la posizione del centro ottico della camera 1 espressa nel sistema di riferimento della camera 2.

Un generico punto $\mathbf{x} \in \mathbb{R}^3$ ha come coordinate $\mathbf{x}_1$ e $\mathbf{x}_2$ nei due diversi sistemi di riferimento e viene proiettato sui sensori 1 e 2 nei punti, espressi in coordinate camera, $\mathbf{m}_1$ e $\mathbf{m}_2$ rispettivamente.

Il punto immagine $\mathbf{m}_2$ individua un raggio ottico nello spazio tridimensionale passante per il centro di proiezione della seconda camera. Poiché tale centro è stato posto nell'origine del sistema di riferimento, il raggio può essere parametrizzato come

$$\mathbf{x}_2 = \lambda_2 \mathbf{m}_2, \qquad \lambda_2 > 0.$$ (10.38)

Un generico punto $\mathbf{x}_1 = \lambda_1 \mathbf{m}_1$ espresso in coordinate del sensore 1 e osservato da quel sensore può venire proiettato in coordinate del sensore 2 in accordo con l'equazione

$$\mathbf{x}_2 = \prescript{2}{}{ \mathbf{R}_1 } \mathbf{x}_1 + \mathbf{t}$$ (10.39)

L'equazione della retta epipolare, retta in coordinate camera nel secondo sensore e luogo dei punti dove deve giacere $\mathbf{m}_2$, associata al punto $\mathbf{m}_1$ (osservato e pertanto espresso in coordinate camera del primo sensore), risulta essere

$$\lambda_2 \mathbf{m}_2 = \lambda_1 \prescript{2}{}{ \mathbf{R}_1 } \mathbf{m}_1 + \mathbf{t}$$ (10.40)

Il luogo dei punti omogenei $\mathbf{m}_2$ si ottiene facendo variare il parametro $\lambda_1$ e questa retta in $\mathbb{R}^3$ risulta essere una retta anche in $\mathbb{R}^2$. Se due punti sono effettivamente omologhi, il sistema è risolvibile ed è possibile ricavare i parametri $\lambda_1$ e $\lambda_2$ (questo è un esempio di ricostruzione tridimensionale tramite triangolazione come si è visto in sezione 10.3.1).

Esiste tuttavia una relazione che lega direttamente i punti omologhi delle due immagini senza esplicitare i parametri di profondità $\lambda$. Tale vincolo non solo consente di verificare la compatibilità di due osservazioni, ma permette anche di stimare la posa relativa tra le due camere $\left( \mathbf{R}, \mathbf{t} \right)$ a partire da un insieme di corrispondenze.

Se si moltiplicano entrambi i lati dell'equazione (10.40), prima vettorialmente per $\mathbf{t}$, poi scalarmente per $\mathbf{m}^{\top}_{2}$, si ottiene infatti

$$\lambda_2 \mathbf{m}^{\top}_{2} \left( \mathbf{t} \times \ma... ...thbf{m}^{\top}_{2} \left( \mathbf{t} \times \mathbf{t} \right)$$ (10.41)

Su tale relazione è possibile applicare le proprietà del prodotto vettoriale $\mathbf{t} \times \mathbf{t}=\textbf{0}$ e scalare $\mathbf{m}_2 \cdot \left( \mathbf{t} \times \mathbf{m}_2 \right)=0$.

Questo passaggio ha un preciso significato geometrico. La relazione ottenuta esprime il fatto che il vettore $\mathbf{t}$, il raggio ottico associato a $\mathbf{m}_2$ e il raggio ottico associato a $\prescript{2}{}{\mathbf{R}_1}\mathbf{m}_1$ appartengono al medesimo piano epipolare. In altre parole, i due centri di proiezione e il punto tridimensionale osservato sono coplanari. L'ipotesi di rigidità permette inoltre di mettere in relazione le coordinate del medesimo punto nei due sistemi di riferimento attraverso la trasformazione $(\mathbf{R}, \mathbf{t})$.

Attraverso questa formula, è possibile esprimere le relazioni che intercorrono tra i punti omologhi $\mathbf{m}_1$ e $\mathbf{m}_2$, rappresentati sotto forma di coordinate camera omogenee, in una forma molto compatta

$$\mathbf{m}^{\top}_{2} \left( \mathbf{t} \times \mathbf{ R } \mathbf{m}_1 \right) = 0$$ (10.42)

Indicando infine con $[\mathbf{t}]_{\times}$, matrice antisimmetrica, il prodotto vettoriale in forma matriciale (sezione 1.8), è possibile raccogliere i diversi contributi sotto forma di matrice

$$\mathbf{E} = [\mathbf{t}]_{\times} \mathbf{R} = \mathbf{R} \left[ \mathbf{R}^{\top} \mathbf{t} \right]_{\times}$$ (10.43)

dove $\mathbf{R}=\prescript{2}{}{\mathbf{R}_1}$ e $\mathbf{t}$ hanno il significato introdotto in equazione (10.39): $\mathbf{R}$ trasforma coordinate espresse nel sistema della camera 1 nel sistema della camera 2, mentre $\mathbf{t}$ rappresenta la posizione del centro ottico della camera 1 espressa nel sistema della camera 2. Si può definire in questo modo una relazione lineare che lega i punti camera delle due viste

$$\mathbf{m}^{\top}_{2} \mathbf{ E } \mathbf{m}_1 = 0$$ (10.44)

La matrice $\mathbf{E}$ è definita Matrice Essenziale (Essential Matrix) e codifica la posa relativa tra le due camere a meno di un fattore di scala sulla traslazione.

Bisogna infine prestare attenzione alle convenzioni adottate, poiché in letteratura non esiste un'unica scelta per l'ordine dei punti nelle relazioni epipolari. Nel caso della relazione

$$\mathbf{m}_2^{\top}\mathbf{E}\mathbf{m}_1 = 0,$$

la matrice $\mathbf{E}=[\mathbf{t}]_{\times}\mathbf{R}$ è costruita utilizzando la rotazione $\mathbf{R}$ e la traslazione $\mathbf{t}$ che trasformano coordinate espresse nel sistema della camera 1 nel sistema della camera 2.

La matrice $\mathbf{E}$, mettendo in relazione punti omogenei, è anch'essa omogenea e pertanto definita a meno di un fattore moltiplicativo.

La matrice Essenziale ha le seguenti proprietà:

• la trasposta della matrice Essenziale della coppia ordinata di camere (1,2) è (proporzionale alla) matrice Essenziale della coppia (2,1);
• $\mathbf{E}$ è una matrice di rango 2 con 5 gradi di libertà. Rappresenta infatti una posa relativa, perciò 3 gradi di libertà associati alla rotazione e 2 gradi di libertà associati alla direzione della traslazione relativa;
• i due valori singolari della matrice $\mathbf{E}$ devono essere uguali e il terzo deve essere zero.

La matrice Essenziale crea delle relazioni in coordinate camera e pertanto, per poterla utilizzare da un punto di vista pratico, è necessario avere a disposizione punti espressi in questo particolare sistema di riferimento, ovvero è necessario conoscere i parametri intrinseci delle camere coinvolte.

L'equazione

$$\mathbf{m}^{\top}_{2} \left( \mathbf{ E } \mathbf{m}_1 \right) = 0$$ (10.45)

esprime il vincolo epipolare tra le osservazioni $\mathbf{m}_1$ e $\mathbf{m}_2$ dello stesso punto tridimensionale.

È tuttavia possibile introdurre un'ulteriore relazione tra i punti delle immagini che non richiede la conoscenza esplicita dei parametri intrinseci delle camere.

Se si applica la definizione di coordinate camera omogenee $\mathbf{p} = \mathbf{K} \mathbf{m}$ nella relazione (10.44) si ottiene

$$\mathbf{p}^{\top}_2 \mathbf{K}^{-\top}_{2} \mathbf{E} \mathb... ...{1} \mathbf{p}_1 = \mathbf{p}^{\top}_2 \mathbf{F} \mathbf{p}_1$$ (10.46)

da cui

$$\mathbf{F} = \mathbf{K}^{-\top}_{2} \mathbf{E} \mathbf{K}^{-1}_{1}$$ (10.47)

La matrice Fondamentale (Fundamental matrix) è definita (Faugeras e Hartley, 1992) come:

$$\mathbf{p}^{\top}_{2} \mathbf{ F } \mathbf{p}_1 = 0$$ (10.48)

dove $\mathbf {p}_1$ e $\mathbf {p}_2$ sono coordinate, sempre omogenee, dei punti omologhi rispettivamente sulla prima e sulla seconda immagine.

Se due punti sulle due immagini della coppia stereoscopica rappresentano lo stesso punto nel mondo, l'equazione (10.48) deve essere soddisfatta.

La matrice fondamentale permette di restringere l'intervallo di ricerca delle corrispondenze tra le due immagini in quanto, per il dualismo punto-retta, dalla relazione (10.48) è possibile ricavare il luogo geometrico dei possibili punti corrispondenti. Infatti, dato un punto $\mathbf {p}_1$ nella prima immagine, il corrispondente punto $\mathbf {p}_2$ nella seconda immagine deve appartenere alla retta epipolare

$$\begin{array}{l} \mathbf{l}_2 = \mathbf{F} \mathbf{p}_1 \\ \mathbf{l}_1 = \mathbf{F}^{\top} \mathbf{p}_2 \\ \end{array}$$ (10.49)

dove $\mathbf{l}_1$ e $\mathbf{l}_2$ rappresentano le rette epipolari nella prima e nella seconda immagine rispettivamente, espresse in forma implicita.

La relazione che intercorre tra la matrice Fondamentale e la matrice Essenziale risulta essere, equazione (10.46),

$$\mathbf{E} = \mathbf{K}^{\top}_{2} \mathbf{F} \mathbf{K}_{1}$$ (10.50)

o viceversa

$$\mathbf{F} = \mathbf{K}^{-\top}_{2} \mathbf{E} \mathbf{K}^{... ...\top}_{2} [\mathbf{t}]_{\times} \mathbf{R} \mathbf{K}^{-1}_{1}$$ (10.51)

La matrice Essenziale dipende esclusivamente dalla posa relativa tra le camere, mentre la matrice Fondamentale dipende sia dai parametri intrinseci sia dalla posa relativa.

La matrice Essenziale introduce vincoli uguali a quelli della matrice Fondamentale ma, anche se introdotta storicamente prima della matrice Fondamentale, ne è un caso particolare perché esprime le relazioni rispetto a coordinate camera.

$\mathbf{F}$ è una matrice $3 \times 3$ di rango 2 e per essere determinata bastano 7 punti, in quanto i gradi di libertà risultano essere appunto solamente 7 (un fattore moltiplicativo e il determinante nullo riducono la dimensione del problema). La relazione che lega la matrice Fondamentale ai 7 gradi di libertà è una relazione non lineare^10.1. Con (almeno) 8 punti si riesce invece ad ottenere una stima lineare della matrice, come descritto nella sezione successiva.

La matrice Fondamentale ha le seguenti proprietà:

• la trasposta della matrice Fondamentale della coppia ordinata di camere (1,2) è la matrice Fondamentale della coppia (2,1);
• $\mathbf{F}$ è una matrice di rango 2 con 7 gradi di libertà (la matrice omogenea $\mathbf{F}$ ha 8 gradi di libertà a cui va aggiunto il vincolo $\det \mathbf{F} = 0$);
• $\mathbf{l}_2 = \mathbf{F} \mathbf{p}_1$ e $\mathbf{l}_1 = \mathbf{F}^{\top} \mathbf{p}_2$ sono le rette epipolari rispettivamente nell'immagine 2 di un punto dell'immagine 1 e nell'immagine 1 di un punto dell'immagine 2;
• siccome gli epipoli soddisfano le relazioni $\mathbf{F}\mathbf{e}_1=0$ e $\mathbf{F}^{\top}\mathbf{e}_2=0$, l'epipolo $\mathbf {e}_1$ appartiene al nucleo destro della matrice $\mathbf{F}$ mentre l'epipolo $\mathbf {e}_2$ appartiene al nucleo sinistro;
• $\mathbf{F}$ è una “quasi correlazione” ovvero una trasformazione che trasforma punti in linee ma non è invertibile.

Figura 10.3: La matrice Fondamentale permette di individuare le rette epipolari, immagine destra, su cui vivono i punti omologhi dei punti dell'immagine sinistra.

Le matrici Fondamentali ed Essenziali possono essere usate per restringere il campo di ricerca dei punti omologhi tra due immagini e/o filtrare via eventuali outlier (ad esempio in RANSAC). La matrice Essenziale, una volta decomposta, permette inoltre di stimare la posa relativa tra due camere^10.2. Questa informazione può essere utilizzata sia per stimare il movimento di una camera che si sposta nella scena (motion stereo o visual odometry), sia per determinare la posa relativa tra due camere osservanti la stessa scena, come avviene nelle procedure di calibrazione o autocalibrazione.

L'uso della matrice Essenziale permette di ricavare la posa relativa tra due viste. Non è però possibile conoscere la lunghezza della baseline che unisce i due pin-hole, ma solo la sua direzione. Tuttavia, avendo a disposizione la matrice Essenziale, è sempre possibile eseguire una ricostruzione tridimensionale della scena osservata a meno di un fattore moltiplicativo: i rapporti tra le distanze sono conosciuti, ma non il loro valore assoluto. Questo permette però, quando si osserva la medesima scena da più di due viste differenti, una ricostruzione tridimensionale coerente, dove per tutte le viste il fattore moltiplicativo sconosciuto rimane sempre lo stesso, permettendo perciò di fondere tutte le singole ricostruzioni in un'unica ricostruzione conosciuta a meno del medesimo fattore di scala.

Footnotes

... lineare^10.1

Il vincolo $\det(\mathbf F)=0$ introduce una relazione cubica non lineare tra gli elementi della matrice.

... camere^10.2

Come verrà mostrato nelle sezioni successive, dalla decomposizione della matrice Essenziale si ottengono quattro possibili configurazioni geometriche e la traslazione risulta determinata solamente a meno di un fattore di scala.