Feature based approaches of artificial vision: algorithms and applications

Image registration is the process of overlaying two or more images of the same scene taken at different times, from different viewpoints, and/or by different sensors, depending on applications. An automated image registration process could be implemented especially using a feature-based method, in which significant features are detected and then compared using spatial relations or invariant descriptors. The importance of finding correct correspondences between two images is the major aspect in several problems of computer vision. There are several algorithms for this scope, and they mainly differ in the features they use, either global (i.e., color histograms, Fourier signatures, etc.) or local (i.e., edges, points, etc.). Points feature matching has become a commonly used method to compare images, despite it is highly probable that part of the overall matching represents incorrect matchings. Some techniques have been then developed to filter out incorrect matchings, called outliers, keeping only real matchings (inliers), but they almost not let to improve significatively matching performances, and/or are very expansive in terms of computational time. In this thesis we describe a novel approach to points feature matching, named Feature Group Matching (FGM), to select less but more stable features in matching an image with a reference image database. This work describes the algorithms used to extract the feature points, and then filter them to avoid incorrect matches. Sequently are illustrated several application fields of these theories, paying particular attention to appearance based mobile robot localization, content based image retrieval and retail environment applications. For each of these branch, extensive tests and comparisons among the de-facto state-of-art of point feature extractor algorithms were conducted to demonstrate the goodness of the proposed algorithm. The results of the research were successfully reviewed and published to international conferences and journals (about fifteen papers).

Il raffronto tra due immagini è il processo per cui vengono analizzate e confrontate due immagini rappresentanti la stessa scena acquisite in diversi istanti e da diversi punti di vista, e/o con strumenti differenti, a seconda delle applicazioni. E' possibile automatizzare un sistema di raffronto tra immagini, in particolar modo usando un metodo basato su feature, dove alcune caratteristiche signi- ficative vengono individuate e quindi confrontate utilizzando criteri legati alle relazioni spaziali tra di loro o a descrittori invarianti. L'importanza di trovare le corrispondenze corrette (e solo quelle) tra due immagini è uno degli aspetti più importanti in diversi ambiti della computer vision. Ci sono diversi algoritmi per raggiungere questo scopo, e si differiscono principalmente per il tipo di feature usate, che possono essere globali (ad esempio, gli istogrammi di colore, Fourier signatures, etc.) oppure locali (bordi, punti, etc.). Il confronto tra feature puntuali è diventato uno dei metodi piu comuni per confrontare immagini, anche se questo comporta una probabilità relativamente alta che almeno alcune delle corrispondenze individuate siano non corrette. Sono state sviluppate alcune tecniche per individuare ed eliminare corrispondenze non corrette, chiamate outliers, mantenendo solamente le corrispondenze esatte (inliers), ma queste non permettono di migliorare significativamente le prestazioni, e/o sono molto dispendiose in termini di tempo necessario per l'elaborazione delle immagini. In questa tesi viene descritto un nuovo approccio di raggruppamento di feature puntuali, denominato Feature Group Matching (FGM), per selezionare, nel processo di confronto di un'immagine rispetto a un database di immagini usato come riferimento, un numero minore di feature ma piu stabili. Questo lavoro descrive gli algoritmi utilizzati per l'estrazione delle feature puntuali, e quindi filtrarle per l'eliminazione delle corrispondenze inesatte. In seguito vengono esposti diversi campi di applicazione di queste teorie, ponendo particolare attenzione alla localizzazione robotica basata sulla visione, al recu- pero di immagini basato sul contenuto e a particolari applicazioni nel campo del retail. Per ciascuno di questi settori sono stati eseguiti molti esperimenti e confronti basati su quelli che sono al momento di fatto lo stato dell'arte per quanto riguarda l'estrazione di feature puntuali, per dimostrare la bontà dell'algoritmo proposto. I risultati della ricerca che sono alla base di questa tesi sono stati pubblicati con successo in varie riviste ed atti di conferenze internazionali (circa quindici articoli).