Edge AI for human-behavior monitoring: designing lightweight Deep Learning methods on resource-constrained devices

This thesis explores the development of advanced deep learning (DL)-based monitoring systems for real-time image and video analysis in indoor environments, following the edge artificial intelligence (AI) paradigm. The research covers two application areas: security, with a focus on RGB data analysis for video surveillance, and the medical domain, focusing on deep data analysis for monitoring and diagnostic support. In the security domain, work begins with the design of a multi-camera video surveillance infrastructure aimed at efficient multi-source data management. Optimized DL models were implemented for edge devices, capable of detecting objects with efficiency and minimal use of computational resources. The focus then shifted to weapon recognition, with a comparison between NVIDIA Jetson Nano and Google Coral on a specifically acquired dataset (WeaponSenseV0), where Jetson Nano was the best choice. This led to the creation of the WeaponSenseV1 dataset and the development of the first edge AI framework for real-time identification of knives and guns in surveillance videos through the use of two cascaded CNNs, optimized for edge devices. Despite the results, the framework had limitations on efficiency in crowded environments, which were overcome in the last phase of the research with the introduction of a super-resolution (SR) branch during the training phase of the CNN for weapon detection. This method, validated on the WeaponSenseV2 dataset, succeeded in maintaining low computational complexity while enhancing accuracy in weapon identification on low-cost devices. With regard to medical monitoring, the research focused on limb segmentation in preterm infants using depth imaging in the neonatal intensive care unit. The goal was to develop a computationally efficient and sustainable CNN in line with GreenAI and edge AI principles. A layer-by-layer inspection of the computational complexity was pursued, leading to reduced consumption of energy resources, overcoming the limitations of traditional DL models and promoting the use of edge AI to improve accessibility, privacy, security and reliability of medical monitoring systems, ensuring their operational continuity even in the absence of connectivity.

Questa tesi esplora lo sviluppo di sistemi di monitoraggio avanzati basati su deep learning (DL) per l'analisi in tempo reale di immagini e video in ambienti chiusi, seguendo il paradigma dell'edge artificial intelligence (AI). La ricerca copre due aree di applicazione: la sicurezza, con un focus sull'analisi di dati RGB per la videosorveglianza, e il settore medico, concentrandosi sull'analisi di dati di profondità per il monitoraggio e il supporto diagnostico. Nel dominio della sicurezza, il lavoro inizia con la progettazione di un'infrastruttura di videosorveglianza multicamera, finalizzata a un'efficiente gestione dei dati multisorgente. Sono stati implementati modelli di DL ottimizzati per dispositivi edge, capaci di rilevare oggetti con efficienza e minimo impiego di risorse computazionali. L'attenzione si è poi spostata sul riconoscimento di armi, con un confronto tra NVIDIA Jetson Nano e Google Coral su un dataset specificatamente acquisito (WeaponSenseV0), dove Jetson Nano è risultata la scelta migliore. È stato quindi creato il dataset WeaponSenseV1, dando vita al primo framework edge AI per l'identificazione in tempo reale di coltelli e pistole in video di sorveglianza, attraverso l'uso di due CNN in cascata ottimizzate. Nonostante i risultati, il framework presentava limitazioni sull’efficienza in ambienti affollati, superati nell'ultima fase della ricerca con l'introduzione di un ramo di super-resolution nella CNN in fase di addestramento sul dataset WeaponSenseV2, mantenendo bassa la complessità computazionale e migliorando l'accuratezza nell'identificazione di armi su dispositivi a basso costo. Per quanto riguarda il monitoraggio medico, la ricerca si è concentrata sulla segmentazione degli arti in neonati pretermine utilizzando immagini di profondità in terapia intensiva neonatale. L'obiettivo era sviluppare una CNN efficiente e sostenibile sotto il profilo computazionale, in linea con i principi della GreenAI. Questo approccio ha permesso di ridurre il consumo di risorse energetiche, superando le limitazioni dei modelli di DL tradizionali e promuovendo l'uso dell'edge AI per migliorare accessibilità, privacy, sicurezza e affidabilità dei sistemi di monitoraggio medico, garantendo la loro operatività anche in assenza di connettività.