Towards digital patient monitoring: deep learning methods for the analysis of multimedia data from the actual clinical practice

Acquiring information on patients' health status from the analysis of video recordings is a crucial opportunity to enhance current clinical assessment and monitoring practices. This PhD thesis proposes four automated systems that analyse multimedia data using deep learning methodologies. These systems have been developed to enrich current assessment modalities - so far based on direct observation of the patient by trained clinicians coupled with the compilation of clinical scales often collected in paper format- of three categories of patients: preterm infants, adolescents with autism spectrum syndrome and adults affected by neuropathologies (such as stroke and amyotrophic lateral sclerosis). Each system stems from the clinical need of having new tools to treat patients, able at collecting structured, easily accessible and shareable information. This research will continue to be enhanced to ensure that clinicians have more time to devote to patients, to treat them better and to the best of their ability

Acquisire informazioni sullo stato di salute dei pazienti a partire dall’analisi di video registrazioni è un’opportunità cruciale per potenziare le attuali pratiche cliniche di valutazione e monitoraggio. Questa Tesi di Dottorato propone quattro sistemi automatici che analizzano dati multimediali tramite algoritmi di apprendimento profondo (deep learning). Tali sistemi sono stati sviluppati per arricchire le modalità valutative -ad oggi basate sull’osservazione diretta del paziente da parte del clinico e sulla compilazione di scale cliniche spesso raccolte in formato cartaceo- di tre categorie di pazienti: i neonati prematuri, gli adolescenti con sindrome dello spettro autistico e gli adulti affetti da neuropatologie (ictus e sclerosi laterale amiotrofica). Ogni sistema nasce dal dialogo con gli specialisti dei settori e risponde all’esigenza di avere a disposizione nuovi strumenti per trattare i pazienti, che raccolgano misurazioni in maniera continuativa ed ordinata, in sistemi sicuri e facilmente accessibili e si svilupperà in futuro per garantire ai medici, sempre più provati dai ritmi lavorativi serrati, più tempo da dedicare ai pazienti, per curarli meglio e al meglio delle proprie capacità.