Advancing Human-Machine Symbiosis: Data Fusion Approaches for Analyzing Driver Behavior and Vehicle Interactions

This research explored the design and development of a symbiotic Human-Machine Interface (HMI) integrated with an advanced Driver Monitoring System (DMS) to enhance driver safety, engagement, and overall driving experience. By focusing on adaptive and predictive interactions, the study aims to advance research on a symbiotic relationship between the driver and the vehicle. The system can actively monitor driver states and provide real-time feedback to improve attention, behavior, and situational awareness. The research investigated how driver’s emotions and behaviors correlate with changes in attention and performance. To this end, the study uses data fusion techniques to integrate multimodal inputs, including telemetric, physiological and observational data. Experimental phases were conducted using a driving simulator equipped with cameras and machine learning software. These tools enabled the detection of driver states such as head orientation and emotional analysis through facial expression recognition based on Ekman's emotion framework, facilitating the analysis of attention levels and emotional responses during distraction events. Key findings underline the importance of real-time monitoring and adaptive feedback mechanisms. Results show that the implemented baseline multimodal CNN model achieved a high degree of performance, with multiclass accuracy nearing 90% and binary classification accuracy exceeding 93%. This research contributes to advancing Human-Machine Symbiosis in the automotive sector by offering a framework for understanding driver behaviors, enhancing vehicle interaction, and improving road safety. Future work will focus on refining methodologies, optimizing analysis tools, and validating findings in real-world environments.

Questa ricerca ha esplorato la progettazione e lo sviluppo di un'interfaccia uomo-macchina (HMI) simbiotica integrata con un avanzato sistema di monitoraggio del conducente (DMS), con l'obiettivo di migliorare la sicurezza, il coinvolgimento e l'esperienza complessiva di guida. Concentrandosi su interazioni adattive e predittive, lo studio mira a promuovere la ricerca su una relazione simbiotica tra conducente e veicolo. Il sistema è in grado di monitorare attivamente gli stati del conducente e fornire feedback in tempo reale per migliorare attenzione, comportamento e consapevolezza situazionale. La ricerca ha indagato come le emozioni e i comportamenti del conducente si correlino con cambiamenti nell’attenzione e nelle prestazioni. A tal fine, sono state impiegate tecniche di fusione dei dati per integrare input multimodali, tra cui dati telemetrici, fisiologici e osservazionali. Le fasi sperimentali sono state condotte utilizzando un simulatore di guida dotato di telecamere e software di apprendimento automatico. Questi strumenti hanno permesso il rilevamento degli stati del conducente, come l’orientamento della testa e l’analisi delle emozioni attraverso il riconoscimento delle espressioni facciali basato sul modello emozionale di Ekman, facilitando l’analisi dei livelli di attenzione e delle risposte emotive durante eventi di distrazione. I risultati principali evidenziano l’importanza del monitoraggio in tempo reale e dei meccanismi di feedback adattivi. Il modello di base multimodale CNN ha raggiunto prestazioni elevate, con un’accuratezza multiclasse vicina al 90% e un’accuratezza binaria superiore al 93%. Questa ricerca contribuisce all’avanzamento della simbiosi uomo-macchina nel settore automobilistico, offrendo un framework per comprendere i comportamenti del conducente, migliorare l’interazione con il veicolo e aumentare la sicurezza stradale. I lavori futuri si concentreranno sul perfezionamento delle metodologie, sull’ottimizzazione degli strumenti di analisi e sulla validazione dei risultati in ambienti reali.