Towards Objectivization of Acoustic Jury Tests: Physiological and Biometrical Measurement of Human Response to Acoustic Stimuli

In the evolving field of acoustic engineering, the subjective assessment of sound quality plays a pivotal role. Traditional methodologies predominantly rely on direct feedback from human jurors, a process often challenged by its subjective nature and potential for inconsistency. This thesis introduces an innovative approach to augment sound quality jury testing by integrating physiological and biometric measurements, specifically focusing on electroencephalography (EEG) and facial expression analysis. By measuring these responses simultaneously with the jurors' sound quality assessments, this research aims to provide a more objective, reliable, and nuanced understanding of human auditory perception. To substantiate this approach, the thesis conducts two preliminary tests and two jury tests. The preliminary tests involved 16 and 40 participants, respectively, who were exposed to various audio and audio-visual stimuli. Their facial expressions were recorded to examine the emotional impact of these stimuli, highlighting the efficacy of using facial expression analysis to predict emotions elicited by acoustic inputs. The tests also demonstrated that visual components alongside audio stimuli can enhance emotional response. For analyzing facial expression, a key aspect of this research involved utilizing a computer vision-based software tool and a Convolutional Neural Network for assessing the level of attention in participants. Eventually, results showed that facial expression analysis is able to play an important role in jury testing, mainly in assessing the level of jurors' involvement, thus identifying more reliable responses among other responses provided by jurors. In the EEG-focused jury test, forty-three participants were involved, with EEG signals recorded using wearable sensors. The analysis of power spectral densities (PSDs) was pivotal in identifying features correlated with acoustic sensations induced by the stimuli. The tests revealed statistically significant differences in responses to different audio stimuli. These findings underscore the potential of integrating wearable EEG sensors in jury test assessments, offering a novel perspective on how physiological measurements can enhance the reliability and depth of sound quality evaluations. Subsequently, this thesis demonstrates that the integration of physiological and biometric measurements—specifically EEG and facial expression analysis—into sound quality jury testing can somehow enrich the assessment process. These methods provide a more objective basis for understanding auditory perception, offering promising avenues for future research in acoustic engineering and related fields.

Nel campo in evoluzione dell'ingegneria acustica, la valutazione soggettiva della qualità del suono gioca un ruolo fondamentale. Le metodologie tradizionali si basano prevalentemente sul feedback diretto di giurati umani, un processo spesso messo in discussione dalla sua natura soggettiva e dal potenziale di incoerenza. Questa tesi introduce un approccio innovativo per incrementare l'affidabilità dei jury test per la valutazione soggettiva della qualità del suono integrando misure fisiologiche e biometriche, in particolare concentrandosi sull'elettroencefalografia (EEG) e sull'analisi dell'espressione facciale. Misurando queste risposte contemporaneamente alle valutazioni dei giurati sulla qualità del suono, questa ricerca mira a fornire una comprensione più oggettiva, affidabile e sfumata della percezione uditiva umana. Per corroborare questo approccio, la tesi conduce due test preliminari e due jury test acustici. I test preliminari hanno coinvolto rispettivamente 16 e 40 partecipanti, che sono stati esposti a diversi stimoli audio e audiovisivi. Le loro espressioni facciali sono state registrate per esaminare l'impatto emotivo di questi stimoli, evidenziando l'efficacia dell'uso dell'analisi delle espressioni facciali per prevedere le emozioni suscitate dagli input acustici. I test hanno anche dimostrato che la risposta emotiva è più evidente quando gli stimoli audio sono accompagnati da componenti visive. Per l'analisi dell'espressione facciale, un aspetto fondamentale di questa ricerca è stato l'utilizzo di uno strumento software basato sulla computer vision e di una rete neurale convoluzionale per valutare il livello di attenzione dei partecipanti. Alla fine, i risultati hanno dimostrato che l'analisi dell'espressione facciale è in grado di svolgere un ruolo importante nei jury test, soprattutto nel valutare il livello di coinvolgimento dei giurati, identificando così risposte più affidabili tra le quelle fornite dai giurati. Nei jury test acustici condotti in simultanea con l'acquisizione della risposta filologica dei giurati (mediante EEG) sono state coinvolte 43 persone, i cui segnali EEG sono stati registrati con sensori indossabili. L'analisi delle densità spettrali di potenza (PSD) è stata fondamentale per identificare le caratteristiche correlate alle sensazioni acustiche indotte dagli stimoli. I test hanno rivelato differenze statisticamente significative nelle risposte ai diversi stimoli audio. Questi risultati sottolineano il potenziale dell'integrazione di sensori EEG indossabili nelle valutazioni dei jury test, offrendo una prospettiva nuova su come le misurazioni fisiologiche possano migliorare l'affidabilità e l'accuratezza delle valutazioni della qualità del suono. Di conseguenza, questa tesi dimostra che l'integrazione di misure fisiologiche e biometriche - in particolare l'EEG e l'analisi delle espressioni facciali - nei jury test per la valutazione della qualità del suono può in qualche modo arricchire il processo di valutazione. Questi metodi forniscono una base più oggettiva per la comprensione della percezione uditiva, offrendo strade promettenti per la ricerca futura nell'ingegneria acustica e nei campi correlati.