Development of Algorithms for the Processing of Data from Contactless Sensors

This thesis presents novel algorithms for processing data acquired through contactless sensors, which have seen an increased interest due to their non-invasiveness compared to wearable sensors. In particular, the thesis examines how algorithms processing radar and depth camera signals can provide adequate monitoring of a subject’s behavior and physiology in indoor settings, with applications in ambient assisted living and healthcare. The ultimate goal is to create a system within an environment that detects and monitors a subject's motion and the respiration signal. As a consequence, four lines of research are developed and discussed; the first line in Chapter 3 is the starting point and describes algorithms, based on You-Only-Look-Once (YOLO) detectors for the localization and tracking of a subject in an indoor environment with a Multiple-Input-Multiple-Output (MIMO) radar and a depth camera, obtaining localization errors between 0.16 and 0.72 m for the radar and within 0.08 and 0.31 m for the depth camera; once a subject is located in the environment it is possible to extract information about the movement and activity performed and for this reason, the two following research lines are developed: Chapter 4 describes a study on algorithms for human activity recognition from video camera, using MediaPipe-based pose extraction and lightweight machine learning classifiers to identify hygiene-related activities on embedded platforms, with weighted F1-scores higher than 94% under real-time constraints; then, Chapter 5 presents algorithms for micro-Doppler recognition with a single-chip radar, starting from a feasibility study for the extraction of gait spatio-temporal parameters and concluding with methods based on machine learning and deep learning to discriminate between micro-Doppler signatures to classify six walking patterns, reaching up to 95.6% accuracy. As the last research line, a study on algorithms for respiratory monitoring with MIMO radars and depth cameras is conducted in Chapter 6, introducing a novel frequency-based signal quality index and extracting the respiration rate from moving subjects recorded with a depth camera and a MIMO radar with errors close to 1 breath per minute. Eventually, Chapter 7 discusses the proposed approaches analyzed in the context of frailty monitoring and prevention as an application or use case, providing possible implications of the research line in identifying common frailty indicators.

Questa tesi presenta algoritmi innovativi per il processamento dei dati acquisiti con sensori senza contatto, che hanno il vantaggio della non invasività rispetto ai sensori indossabili. In particolare, la tesi esplora come algoritmi per l'elaborazione di segnali radar e video possano essere impiegati per il monitoraggio dei comportamenti e dei segnali fisiologici di un soggetto in ambienti indoor, con applicazioni negli ambienti di vita assistita e nella sanità. L'obiettivo finale è creare un sistema che rilevi e monitori il movimento di un soggetto e il suo segnale di respirazione. Di conseguenza, vengono sviluppate e discusse quattro linee di ricerca; la prima linea nel Capitolo 3 descrive algoritmi basati su algoritmi You-Only-Look-Once (YOLO) per la localizzazione e il tracciamento di un soggetto in un ambiente interno con un radar Multiple-Input-Multiple-Output (MIMO) ed una telecamera di profondità, ottenendo errori di localizzazione tra 0,16 e 0,72 m per il radar e tra 0,08 e 0,31 m per la telecamera di profondità; una volta che un soggetto è localizzato nell'ambiente, è possibile estrarre informazioni sul suo movimento e sulla sua attività e per questo motivo vengono sviluppate le due successive linee di ricerca: il Capitolo 4 descrive uno studio sugli algoritmi per il riconoscimento delle attività umane da video, utilizzando l'estrazione delle posa basata su MediaPipe e classificatori di machine learning "lightweight" per identificare attività legate all'igiene su RaspBerry Pi, con F1-score superiori al 94%; successivamente, il Capitolo 5 presenta algoritmi per il riconoscimento di traccie micro-Doppler con un radar a singolo chip; il capitolo inizia da uno studio di fattibilità sull'estrazione di parametri spazio-temporali dell'andatura attraverso segnali micro-Doppler e si conclude con metodi basati su machine learning e deep learning per classificare sei diverse camminate, raggiungendo fino al 95,6% di accuratezza. Come ultima linea di ricerca, nel Capitolo 6 viene condotto uno studio sugli algoritmi per il monitoraggio respiratorio con radar MIMO e telecamere di profondità; il capitolo introduce un nuovo indice di qualità del segnale basato sull'analisi in frequenza e descrive algoritmi per l'estrazione della frequenza respiratoria da soggetti in movimento acquisiti con una telecamera di profondità ed un radar MIMO ottenendo errori vicino a 1 respiro al minuto. Infine, gli approcci proposti sono analizzati nel Capitolo 7 nel contesto del monitoraggio e della prevenzione della fragilità come applicazione o caso d'uso, discutendo le possibili implicazioni delle linee di ricerca nell'identificazione di indicatori comuni di fragilità.