Autonomous assistive mobile robot for person monitoring and interaction

Assistive robotics aims to improve the quality of daily living of people, especially for those who suffer of physical disabilities or cognitive impairment, which may be caused by an accident, disease or the natural process of ageing. Autonomous mobile robots can be adapted to work as assistive robots, because of their capabilities to navigate in unstructured environments and react to changes in it. In order to turn a mobile robot into an assistive robot, the contest of use and the set of functionalities to perform should be clearly identified, while limiting at the same time hardware complexity and costs, which are key factors against the application of assistive technologies into the real world. The present thesis deals with a home robot companion actually under development at Università Politecnica delle Marche, which can perform navigation and interaction with persons by using a low cost platform. In this work, the technological and methodological development of a robotic system that can support and encourage independent living for people with mobility problems and / or cognitive impairments is detailed. The mobile robot in question is intended to move in a generally structured home environment, interact with the person by detecting data considered of interest and encouraging independent living of the persons, increasing their safety. The robot companion under development is based on the TurtleBot kit: a commercial, low-cost mobile robot which can be equipped with sensing capabilities and programmed through an open-source software. The TurtleBot represents a solid starting point for developing a robot companion, since it can perform simple tasks with a minimal set of sensors and, at the same time, its intelligence can be enhanced by integrating additional sensors and developing custom software algorithms, while keeping development costs low. The mobile robot must be capable of moving inside an indoor environment, whose map is assumed to be known, looking for the user to track him/her while avoiding other obstacles at the same time. The knowledge of the map is not a strict requirement because the robot is capable to build the map of any unknown environment. Thus, the first time the robot is required to operate in a new environment, the user has to guide the robot through it, while a mapping algorithm is activated. In this way a map of the surrounding is always available, however for best results, maps generated through laser scanners or surveys should always be preferred. The navigation problem can thus be decomposed into the following sub-problems: mapping, localization, target definition, path planning and obstacle avoidance. The result is a mobile robot that can localized itself in a map previously built, which is able to move from one point to another, searching for the person. The next step was to provide an algorithm for the interaction with the person, based on the RGB-D camera. To this purpose, the robot system is able to localize the person, associating to his body a set of joints. Thanks to the identification of the joints, it was possible to detect if the person is sitting, standing or lying down. The last situation can be a dangerous one for the person. The first two situations may be used for statistical purposes, or to evaluate the mobility of the person. The robot can also follow the person, placing at a distance and at a fixed angle by the person. To easly interact with people, the robot can recognize gestural commands. The implemented Gestural Command Algorithm analyzes the values of the joints obtained by the RGB-D camera, in particular the joints of the shoulders, elbows and hands. By the relative position of these joints, it is possible to identify the position that the person is assuming. Finally, it is possible to associate this position with a command, e.g. a speed command for the robot. Moreover, a Speech Recognition Algorithm is developed to allow people to give commands to robots in a natural way. The person can say to the robot the direction where it has to move or a specific point, choosing the direction and the quantity the robot has to move. To implement these tasks, it is necessary the use of the robot proprioceptive sensors that measure linear and angular distances, in order to localize the robot and monitor the progress of the state of the task. The research in the field of assistive technologies continues with the development of an algorithm for the detection of the respiratory rate through an RGB-D camera. The developed algorithm allows to detect the respiratory rate of a person sitting in the front of the camera. Using the depth information, the variations of the chest of the person are measured, then calculating automatically the number of phases of inhalation and exhalation, the respiratory rate is obtained. Tests were conducted to evaluate the performance of the developed algorithm by comparing the results with those generated by a spirometer, which was identified to be the "gold standard". The results obtained have shown that this algorithm can be used to measure the respiratory rate. The algorithm to support the rehabilitation comes from the need of physiotherapists to control how and whether patients should continue the rehabilitation activities at home, playing the required exercises. The algorithm developed, in fact, identifies the person, maps the joints and waits that the person assumes the starting position for that particular exercise. Then, the algorithm communicates to the person that he/she can start to play the exercise and monitors positions and velocities of the exercise. At each step the algorithm informs the person how is performing the exercise and, if necessary, what is wrong. At the end of the exercise or of the series, the algorithm calculates a score. This system, in addition to monitoring of the joints, should also encourage the person to perform exercises, presenting the rehabilitation activities in the form of a game.

La robotica assistiva ha l'obiettivo di migliorare la qualità della vita delle persone nella loro quotidianità, con un occhio speciale per coloro che soffrono di disabilità fisiche o cognitive, che possono essere provocate da un incidente, dalla malattia o dal naturale processo di invecchiamento. Robot mobili autonomi possono essere utilizzati come ausili, grazie alla loro capacità di navigare in ambienti non strutturati e reagire ai cambiamenti in esso. Al fine di trasformare un robot mobile in un robot assistivo, il contesto di utilizzo e l'insieme di funzionalità per l'esecuzione devono essere chiaramente identificati, limitando allo stesso tempo complessità dell’hardware e costi, che sono fattori chiave contro l'applicazione delle tecnologie assistive nel mondo reale. La presente tesi si occupa di un robot di compagnia in fase di sviluppo presso l'Università Politecnica delle Marche, in grado di navigare e interagire con le persone utilizzando una piattaforma a basso costo. In questa tesi, verranno descritti lo sviluppo tecnologico e metodologico di un sistema robotico in grado di supportare e incoraggiare la vita indipendente delle persone con problemi di mobilità e/o disturbi cognitivi. Il robot mobile in questione è capace di muoversi in un ambiente domestico generalmente strutturato, interagire con la persona rilevando i dati ritenuti di interesse e in grado di incoraggiare la vita indipendente delle persone, aumentando la loro sicurezza. Il robot di compagnia in fase di sviluppo è basato sul kit TurtleBot: un robot mobile commerciale e a basso costo che può essere dotato di capacità di rilevamento e programmato tramite un software open-source. Il TurtleBot rappresenta un solido punto di partenza per lo sviluppo di un robot di compagnia, poiché può eseguire operazioni semplici con un insieme minimo di sensori e, allo stesso tempo, la sua intelligenza può essere migliorata integrando sensori aggiuntivi e sviluppando algoritmi software personalizzati, mantenendo bassi i costi. Il robot mobile deve essere in grado di muoversi all'interno di un ambiente domestico, di cui sia nota la mappa, alla ricerca di un utente da monitorare, evitando allo stesso tempo altri ostacoli. La conoscenza della mappa non è un limite insormontabile: la prima volta che il robot deve operare in un nuovo ambiente, l'utente ha il compito di guidare il robot, mentre è attivato un algoritmo di mappatura. In questo modo la mappa dell’ambiente è sempre disponibile, ma per risultati migliori, l’ideale e generare mappe attraverso laser scanner o sonar. Il problema di navigazione può essere scomposto nei seguenti sotto-problemi: mappatura, localizzazione, definizione della destinazione, pianificazione di percorso e aggiramento di ostacoli. Il risultato è un robot mobile che può localizzare sé stesso in una mappa creata in precedenza ed è in grado di spostarsi da un punto all'altro, cercando la persona. Il passo successivo è stato quello di progettare un algoritmo per l'interazione con la persona, basato sulla telecamera RGB-D. A questo scopo, il sistema robot è in grado di localizzare la persona, associando al suo corpo una serie di articolazioni. Grazie all'individuazione delle articolazioni, è stato possibile rilevare se la persona è seduta, in piedi o sdraiata. L’ultima informazione può infatti essere una situazione di pericolo per la persona. Le prime due informazioni possono essere utilizzate per fini statistici o per valutare la mobilità della persona. Il robot può anche seguire la persona, ponendosi ad una distanza e ad un’angolazione fisse rispetto alla persona. Per interagire facilmente con le persone, il robot è in grado di riconoscere i comandi gestuali. L'algoritmo implementato analizza i valori dei giunti ottenuti dalla telecamera RGB-D, in particolare le articolazioni delle spalle, dei gomiti e delle mani. Con la posizione relativa di questi giunti, è possibile individuare la posizione che la persona sta assumendo. Infine, è possibile associare questa posizione con un comando, ad esempio un comando di velocità per il robot. Inoltre, è stato sviluppato un algoritmo per il riconoscimento vocale, per permettere alle persone di dare comandi al robot in modo naturale. La persona può dire al robot la direzione in cui deve muoversi o indicare un punto specifico, scegliendo la direzione e la quantità di cui il robot deve muoversi. Per implementare questi compiti, è necessario l'uso dei sensori propriocettivi, che misurano distanze lineari ed angolari, per localizzare il robot e monitorare l'avanzamento dello stato del compito. La ricerca nel campo delle tecnologie assistive prosegue con lo sviluppo di un algoritmo per la rilevazione della frequenza respiratoria attraverso la telecamera RGB-D. L'algoritmo sviluppato permette di rilevare la frequenza respiratoria di una persona seduta davanti alla telecamera. Utilizzando le informazioni di profondità, vengono rilevate le variazioni del torace della persona, per determinare automaticamente il numero di fasi di inspirazione ed espirazione, ottenendo così la frequenza respiratoria. Sono stati condotti dei test per valutare le prestazioni dell'algoritmo sviluppato confrontando i risultati con quelli generati da uno spirometro, che è stato identificato come il "gold standard". I risultati ottenuti hanno dimostrato che questo algoritmo può essere utilizzato per misurare la frequenza respiratoria. L'algoritmo per supportare la riabilitazione nasce dalla necessità dei fisioterapisti di controllare se e come i pazienti continuano le attività di riabilitazione a casa, eseguendo gli esercizi richiesti. L’algoritmo, infatti, identifica la persona, mappa le articolazioni e attende che la persona assuma la posizione di partenza per quel particolare esercizio. Quindi, l'algoritmo comunica alla persona che può iniziare a eseguire l'esercizio e monitora le posizioni e le velocità durante l’esecuzione dell’esercizio. Ad ogni passo, l’algoritmo informa la persona su come sta eseguendo l'esercizio e, se necessario, su ciò che sta sbagliato. Alla fine dell'esercizio o della serie, l'algoritmo calcola un punteggio. Questo sistema, oltre a monitorare le articolazioni, dovrebbe anche incoraggiare la persona ad eseguire gli esercizi, presentando le attività riabilitative in forma di gioco.