Perception and sensor fusion for flying and mobile robot

travel across most of earth’s man-made surfaces, but they cannot perceive the surrounding ambient nearly as well as humans and other animals do. Perception is more than sensing. Perception is also the interpretation of sensed data in meaningful ways. One of the most important tasks of an autonomous system of any kind is to acquire knowledge about its environment. This is done by taking measurements using various sensors and then extracting meaningful information from those measurements. This dissertation begins with the discussion of this challenge by describing the performance envelope of mobile robot sensors and presenting many of the off-the-shelf sensors which are available for the mobile roboticist, describing their basic principles of operation as well as their performance limitations. It also describes strategies for feature extraction that are highly useful in mobile robotics applications, including extraction of geometric shapes from range-based sensing data, as well as landmarks and whole-image analysis using vision-based sensing. Since vision is the most promising sensor for the future of mobile robotics, this work includes an overview of the theory of operation, the limitations of vision devices, and considerations about techniques and technologies that enable robust mobility. The dissertation explores fundamental issues in robot perception and proposes innovative solutions for effective and safe navigation of mobile indoor and outdoor robots. In particular, it analyzes the problem of vision based navigation for aerial vehicles. Several approaches to vision based perception are presented, which mainly address the aspect of localization. All techniques introduced in this thesis have been extensively validated on real robots to ensure the robustness of the proposed solutions.

delle superfici artificiali della terra, ma non possono percepire l’ambiente circostante come gli esseri umani e altri animali. La percezione è qualcosa di più del rilevare dati. La percezione comprende l'interpretazione dei dati rilevati in modo significativo. Uno dei compiti più importanti di un sistema autonomo di qualsiasi tipo è quello di acquisire la conoscenza del suo ambiente. Questo viene fatto acquisendo misure con i vari sensori e quindi estraendo informazioni significative da tali misure. Questa tesi inizia con una discussione di questa problematica con la descrizione delle prestazioni dei sensori per la robotica mobile. Presenta molti dei sensori a disposizione della robotica mobile e ne descrive i principi basilari di funzionamento, nonché i loro limiti di prestazioni. Descrive inoltre le strategie per l'estrazione di feature, particolarmente utilizzate in applicazioni di robotica mobile, compresa l'estrazione di forme geometriche a partire da dati rilevati di tipo range-based, nonché l’individuazione di landmark e l'analisi whole-image basata su dati di tipo visivo. Dal momento che il sensore di visione è il più promettente per il futuro della robotica mobile, questo lavoro comprende una panoramica della teoria di funzionamento e delle limitazioni dei dispositivi di visione artificiale e comprende considerazioni sulle tecniche e le tecnologie per la robust mobility. La tesi esplora i temi fondamentali nella percezione dei robot e propone soluzioni innovative per una navigazione efficace e sicura di robot mobili in ambienti indoor e outdoor. In particolare esamina il problema della navigazione basata sulla visione per veicoli aerei. Sono presentati diversi approcci alla percezione basata sulla visione, che riguardano principalmente l'aspetto della localizzazione. Tutte le tecniche introdotte in questa tesi sono state ampiamente validate su robot reali per garantire la robustezza delle soluzioni proposte.