Matching e Local Features Apprese

I metodi descritti nei capitoli precedenti prevedono tipicamente tre fasi distinte: individuazione dei punti caratteristici, estrazione del descrittore e infine associazione tra i descrittori provenienti da immagini differenti.

Con l'avvento del Deep Learning questa separazione è diventata progressivamente meno marcata. Invece di progettare esplicitamente un rilevatore di punti caratteristici e un descrittore, una rete neurale può essere addestrata direttamente affinché produca punti facilmente riconoscibili e descrittori particolarmente discriminanti.

In una formulazione generale il processo può essere espresso come

$$(\mathcal{K},\mathcal{D}) = f(I)$$ (8.7)

dove l'immagine $I$ viene trasformata simultaneamente nell'insieme dei punti caratteristici $\mathcal{K}$ e nei rispettivi descrittori $\mathcal{D}$.

Uno dei primi algoritmi di grande successo appartenenti a questa famiglia è stato SuperPoint (DMR18). L'architettura è costituita da una rete convoluzionale che genera sia una mappa di probabilità indicante la posizione dei punti caratteristici sia un descrittore associato ad ogni punto. L'addestramento viene eseguito in maniera semi-supervisionata attraverso una tecnica detta Homographic Adaptation, nella quale immagini artificialmente deformate vengono utilizzate per migliorare la stabilità delle caratteristiche individuate.

Successivamente sono stati proposti numerosi algoritmi che cercano di apprendere simultaneamente il rilevamento e la descrizione delle caratteristiche. D2-Net (DRP$^+$19) osserva che le mappe di attivazione interne di una rete convoluzionale contengono naturalmente sia informazione geometrica sia informazione descrittiva, estraendo quindi i punti caratteristici direttamente dalle attivazioni della rete. R2D2 (RWSH19) introduce invece i concetti di repeatability e reliability, privilegiando punti che siano contemporaneamente stabili e discriminanti. DISK (TFT20) affronta infine il problema come un processo di ottimizzazione delle corrispondenze, cercando di apprendere direttamente quali punti producano il maggior numero di associazioni corrette.

Parallelamente si è assistito ad una evoluzione degli algoritmi di associazione. Nei sistemi tradizionali il confronto viene effettuato mediante una metrica definita sul descrittore, come distanza Euclidea, Manhattan o Hamming, seguita da verifiche geometriche e test di unicità. Le tecniche più recenti cercano invece di apprendere direttamente il processo di matching.

Un esempio significativo è SuperGlue (SDMR20), che interpreta i punti caratteristici e i relativi descrittori come i nodi di un grafo e utilizza meccanismi di attenzione per aggiornare iterativamente le descrizioni e produrre le corrispondenze finali. Molte delle operazioni tradizionalmente implementate attraverso confronti incrociati, soglie di unicità e filtraggio geometrico risultano così apprese dalla rete.

LightGlue (LSP23) rappresenta una successiva ottimizzazione di questa idea. Grazie a meccanismi adattivi, il processo di associazione può essere interrotto anticipatamente quando il livello di confidenza raggiunto è sufficientemente elevato, riducendo significativamente il costo computazionale.

La naturale evoluzione di questo percorso è rappresentata da LoFTR (Local Feature Transformer) (SSW$^+$21). In questo caso l'intero concetto di punto caratteristico viene messo in discussione: invece di individuare preventivamente un insieme di punti notevoli, il sistema costruisce rappresentazioni dense dell'immagine e ricerca direttamente le corrispondenze tra due osservazioni mediante architetture basate su trasformatori. Tale approccio risulta particolarmente efficace nelle regioni con scarsa tessitura, dove i tradizionali rilevatori di corner o blob tendono a fallire.

L'evoluzione appena descritta mostra come la distinzione storica tra individuazione, descrizione e associazione stia progressivamente scomparendo. I sistemi più moderni tendono infatti a trattare l'intero problema della corrispondenza tra immagini come un unico processo di apprendimento, nel quale punti caratteristici, descrittori e matching emergono congiuntamente durante la fase di addestramento.