Creating 2.5D visualizations of 2D artworks using Deep Learning techniques

Art has long connected people across generations, serving as a timeless medium for expressing ideas, emotions, and cultural values. Today, advanced technologies are revolutionizing how we interact and engage with art and go beyond traditional approaches, offering dynamic, immersive interactions that deepen our interest in artworks. This thesis aims to improve the volumetric visualization of 2D artworks for a more immersive experience, providing a new way to present and engage with cultural heritage. The novelty lies in the development of a new framework that combines state-of-the-art artificial intelligence (AI) techniques, such as monocular depth estimation and image segmentation, to create volumetric visualizations from 2D paintings. Two datasets were used for testing. For quantitative evaluation, used SculptureDepth dataset with 3D models and a known depth map. The metrics of RMSE, SSIM, and LPIPS showed that our approach outperformed the baseline methods LeReS and MiDaS with an accurate depth prediction and improved object boundaries. For qualitative analysis, it was applied RenaissanceDepth dataset containing Renaissance paintings. Using evaluation metrics such as CLIP IQA and QALIGN, we evaluated visual consistency and depth relevance to human perception. Our framework performed better, providing improved depth perception and clearer representation of details in complex compositions. This approach provides new opportunities for virtual museums and educational applications to explore cultural heritage in a deeper and more interactive way.

L'arte ha da sempre connesso le persone attraverso le generazioni, fungendo da mezzo senza tempo per esprimere idee, emozioni e valori culturali. Oggi, le tecnologie avanzate stanno rivoluzionando il modo in cui interagiamo e ci relazioniamo con l'arte, superando i metodi tradizionali e offrendo interazioni dinamiche e immersive che approfondiscono il nostro legame con le opere. Questa tesi mira a migliorare la visualizzazione volumetrica delle opere d'arte bidimensionali per offrire un'esperienza più immersiva, fornendo un nuovo modo di presentare e interagire con il patrimonio culturale. La novità risiede nello sviluppo di un nuovo framework che combina tecniche di intelligenza artificiale (IA) all'avanguardia, come la stima della profondità monoculare e la segmentazione delle immagini, per creare visualizzazioni volumetriche a partire da dipinti bidimensionali. Sono stati utilizzati due dataset per i test. Per la valutazione quantitativa è stato impiegato il dataset SculptureDepth, contenente modelli 3D e una mappa di profondità nota. Le metriche RMSE, SSIM e LPIPS hanno dimostrato che il nostro approccio ha superato i metodi di riferimento LeReS e MiDaS con una predizione accurata della profondità e un miglioramento dei contorni degli oggetti. Per l'analisi qualitativa è stato applicato il dataset RenaissanceDepth, contenente dipinti rinascimentali. Utilizzando metriche di valutazione come CLIP IQA e QALIGN, abbiamo valutato la coerenza visiva e la rilevanza della profondità rispetto alla percezione umana. Il nostro framework ha ottenuto risultati migliori, fornendo una percezione della profondità più accurata e una rappresentazione più chiara dei dettagli in composizioni complesse. Questo approccio offre nuove opportunità per musei virtuali e applicazioni educative, permettendo di esplorare il patrimonio culturale in modo più profondo e interattivo.