Measurement and processing of multimodal physiological signals in response to external stimuli by wearable devices and evaluation of parameters influencing data acquisition

Every day, the presence of stimuli causes reactions that change the human physiological state unconsciously. Although they can be measured in outpatient conditions with medical instruments, the interest in remote monitoring has increased the use of wearables for daily data collection. A. Poli contributed to this issue, through studies conducted to develop and test measurement procedures, validate signal processing techniques and wearables performance, in order to quantify the response to external stimuli through physiological signals. A first study identifies the response to acoustic, visual and physical stimuli on the skin conductance (SC) signal collected with Empatica E4 (commercial wearable) from healthy individuals. In the time domain, listening to an unpleasant sound increases the physiological response (increased SC peaks), especially if the duration of the sound is short. The SC is also reliable in recognizing the drowsiness of drivers (Random Forest accuracy: 84.10%) and different levels of physical effort if studied in the frequency domain. In this regard, the observation band [0, 0.40] Hz, wider than the traditional one, is proposed in order not to lose details on the SC. With the University of Alicante (foreign period), the analysis was extended to the impact of domestic design on individual emotions. The result is a second study on cardiac activity (Heart rate variability - HRV, heart rate - HR and blood pressure - BP) in healthy subjects with E4, at rest, during acoustic stimuli and after physical exertion. With multimodal signals and with only cardiac activity, the Support Vector Machine identifies acoustic and physical stimuli (accuracy> 70.00%). For physical exertion, an index determining physical stress levels is proposed, which is less complex than the classification. At rest, the validation of some commercial wearables with respect to gold standards, in accuracy and precision (often unavailable or not rigorously validated by manufacturers), confirms the importance of these metrics in the optimal choice of the device for the target application. For factors interfering with the photoplethysmographic sensor reading (motion artifacts and skin-device contact pressure), a new correction method improves the identification of external stimuli (accuracy + 18.00%). These aspects are related to decision-making processes that require reliable and high quality data, especially in the health sector. The last contribution concerns the evaluation of problems in acquiring accelerometric data from wearables, during domestic activities performed without instructions; and the influence of various wearable technologies on the nature, quality and accuracy of the data collected. To reduce the risk of privacy violations in long-term acquisitions, the proposed multi-objective evolutionary algorithm reduces gender recognition (-25.00%) and keeps activity recognition high (only -5.45%). How much the choice and position of the sensor, and the measurement setup, influence the quality and variability of the data, was also studied at the R&D Nestlé Orbe (Electronic Team - foreign period), to develop a new coffee machine with integrated sensor, evaluating the sensor and recording the parameters of the product being extracted. Finally, the benefits and barriers perceived by users in the conscious use of lifelogging technologies were studied during the Int. "PAAL" project (Univ. Of Alicante, Toronto, Stockholm and Aachen).

Ogni giorno, la presenza di stimoli provoca reazioni che cambiano lo stato fisiologico umano inconsciamente. Sebbene possano essere misurate in condizioni ambulatoriali con strumenti medici, l’interesse nel monitoraggio remoto ha aumentato l’uso di indossabili per la raccolta quotidiana di dati. A. Poli ha contribuito a questo tema, mediante studi condotti per sviluppare e testare procedure di misura, validare tecniche di elaborazione del segnale e prestazioni degli indossabili, al fine di quantificare la risposta a stimoli esterni tramite segnali fisiologici. Un primo studio identifica la risposta a stimoli acustici, visivi e fisici sul segnale di conduttanza cutanea (SC) raccolto con Empatica E4 (indossabile commerciale) da individui sani. Nel dominio del tempo, l'ascolto di un suono sgradevole accresce la risposta fisiologica (aumento picchi SC), soprattutto se la durata del suono è breve. L’SC risulta anche affidabile nel riconoscere la sonnolenza di guidatori (accuratezza Random Forest: 84.10%) e diversi livelli di sforzo fisico se studiato nel dominio della frequenza. A riguardo, la banda di osservazione [0, 0.40] Hz, più ampia rispetto alla tradizionale, è proposta per non perdere dettagli sull'SC. Con l'Univ. di Alicante (periodo estero), l’analisi è stata estesa all’impatto del design domestico sulle emozioni individuali. Ne deriva un secondo studio sull’ attività cardiaca (Variabilità frequenza cardiaca - HRV, frequenza cardiaca – HR e pressione sanguigna - BP) in soggetti sani con l’E4, a riposo, durante stimoli acustici e dopo sforzo fisico. Con segnali multimodali e con sola attività cardiaca, il Support Vector Machine identifica stimoli acustici e fisici (accuratezza > 70.00%). Per lo sforzo fisico, è proposto un indice determinante i livelli di stress fisici, meno complesso rispetto alla classificazione. A riposo, la validazione di alcuni indossabili commerciali rispetto ai gold standard, in accuratezza e precisione (spesso indisponibili o non validate con rigore dai produttori), conferma l'importanza di tali metriche nella scelta ottimale del dispositivo per l’applicazione target. Per i fattori interferenti la lettura del sensore fotopletismografico (artefatti da movimento e pressione di contatto pelle-dispositivo), un nuovo metodo di correzione migliora la identificazione di stimoli esterni (accuratezza +18.00%). Tali aspetti sono correlati ai processi decisionali che richiedono dati affidabili e di alta qualità, soprattutto in ambito sanitario. L'ultimo contributo riguarda la valutazione di problemi nell’ acquisire dati accelerometrici da indossabili, durante attività domestiche eseguite senza istruzioni; e l’influenza di diverse tecnologie indossabili sulla natura, qualità e accuratezza dei dati raccolti. Per ridurre il rischio di violazioni della privacy in acquisizioni a lungo termine, l’algoritmo evolutivo multi-obiettivo proposto riduce il riconoscimento di genere (-25.00%) e mantiene alto quello di attività (solo -5.45%). Quanto la scelta e posizione del sensore, e il setup di misura, influenzino la qualità e variabilità dei dati, è stato studiato anche all'R&D Nestlé Orbe (Team elettronico - periodo estero), per sviluppare una nuova macchina del caffè con sensore integrato, valutando il sensore e la registrazione di parametri del prodotto in estrazione. Infine, benefici e barriere percepiti dagli utenti nell’ uso consapevole di tecnologie lifelogging, sono stati studiati durante il progetto Int. “PAAL” (Univ. di Alicante, Toronto, Stoccolma e Aquisgrana).