From Sensing to Understanding: A Spatial Intelligence Paradigm for 3D Artificial Intelligence

Recent advances in artificial intelligence, computer vision, and computer graphics have allowed artificial systems to evolve from passive visual perception toward a deeper, structured understanding of three-dimensional environments. This evolution has transformed the concept of spatial intelligence, shifting it from a notion rooted purely in human reasoning to the computational domain. In this context, spatial intelligence is defined as the capability of an artificial system to perceive, represent, interpret, and act upon three-dimensional environments by integrating visual, spatial, and semantic information across the full pipeline. This progress has been shaped by the convergence of multiple disciplines, including computer vision, computer graphics, robotics, embodied agents, and generative world models. Nevertheless, current systems remain fragmented, excelling in specific tasks but lacking a cohesive, human-centered paradigm that links sensing, modeling, and deployment across domains. Building on this, this thesis introduces a spatial intelligence paradigm for 3D artificial intelligence, grounded in mature AI technologies and aimed at unifying sensing, neural synthesis, generative modeling, and interaction within a coherent, application-oriented approach. Methodologically, the thesis is structured around three interconnected pillars: multimodal sensing, vision-language modeling, and real-world generalization. Within multimodal sensing, the work investigates how heterogeneous spatial data, ranging from multi-view images to 3D assets, can be transformed into coherent 3D representations using neural rendering and generative AI approaches. Two case studies are presented: an end-to-end neural rendering framework for fashion design based on Neural Radiance Fields and 3D Gaussian Splatting, and a comparative framework for cultural heritage that evaluates generative 3D methods in terms of both 2D visual quality and 3D structural fidelity. The second pillar, vision-language modeling, explores how multimodal large language models and diffusion-based generators can bridge linguistic and spatial representations. This is demonstrated through two systems: an XR platform for context-aware, diffusion-driven 3D content generation, and a novel framework for visual reconstruction from EEG brain activity, combining neural decoding with multimodal generation and introducing a boosted reconstruction stage to enhance image quality. Both systems are validated through quantitative metrics and user-centered evaluations. Finally, the real-world generalization pillar addresses the integration of spatial AI models into interactive, human-in-the-loop environments. Specifically, a system for single-image-to-3D generation, that combines multimodal reasoning, multi-view question answering, and iterative refinement through human feedback with a user interface is proposed, and an immersive analytics platform for fashion that incorporates 3D product interaction, visual analytics, and trend visualization within an XR environment. Overall, this work presents a unified, operational paradigm for spatial intelligence, demonstrating how modern AI systems can be integrated, from sensing and representation to generation and interaction, across heterogeneous domains such as cultural heritage, fashion, and neuroscience. Beyond technical contributions, the thesis emphasizes the importance of human-centered design, interpretability, and interaction, positioning spatial intelligence not only as a computational capability, but as a collaborative interface between artificial systems and human creativity, cognition, and decision-making.

I recenti progressi nell’intelligenza artificiale, nella visione artificiale e nella computer grafica hanno consentito ai sistemi artificiali di evolvere da una percezione visiva passiva verso una comprensione più profonda e strutturata degli ambienti tridimensionali. Questa evoluzione ha trasformato il concetto di intelligenza spaziale, spostandolo da una nozione radicata esclusivamente nel ragionamento umano al dominio computazionale. In questo contesto, l’intelligenza spaziale è definita come la capacità di un sistema artificiale di percepire, rappresentare, interpretare e agire all’interno di ambienti tridimensionali integrando informazioni visive, spaziali e semantiche lungo l’intera pipeline. Questo progresso è stato plasmato dalla convergenza di molteplici discipline, tra cui visione artificiale, computer grafica, robotica, agenti embodied e modelli generativi del mondo. Tuttavia, i sistemi attuali rimangono frammentati, eccellendo in compiti specifici ma privi di un paradigma coeso e centrato sull’uomo che colleghi acquisizione, modellazione e applicazione nei diversi domini. Partendo da queste considerazioni, questa tesi introduce un paradigma di intelligenza spaziale per l’intelligenza artificiale tridimensionale, fondato su tecnologie mature di IA e finalizzato a unificare acquisizione, sintesi neurale, modellazione generativa e interazione all’interno di un approccio coerente e orientato alle applicazioni. Dal punto di vista metodologico, la tesi è strutturata attorno a tre pilastri interconnessi: acquisizione multimodale, modellazione visione-linguaggio e generalizzazione nel mondo reale. Nell’ambito dell’acquisizione multimodale, il lavoro indaga come dati spaziali eterogenei, che spaziano da immagini multi-vista ad asset tridimensionali, possano essere trasformati in rappresentazioni 3D coerenti mediante approcci di rendering neurale e intelligenza artificiale generativa. Vengono presentati due casi di studio: un framework end-to-end di rendering neurale per il design della moda basato su Neural Radiance Fields e 3D Gaussian Splatting, e un framework comparativo per il patrimonio culturale che valuta i metodi generativi 3D sia in termini di qualità visiva bidimensionale sia di fedeltà strutturale tridimensionale. Il secondo pilastro, la modellazione visione-linguaggio, esplora come i modelli linguistici multimodali di grandi dimensioni e i generatori basati su diffusione possano fungere da ponte tra rappresentazioni linguistiche e spaziali. Questo aspetto viene dimostrato attraverso due sistemi: una piattaforma XR per la generazione di contenuti 3D contestualizzati guidata da modelli di diffusione e un nuovo framework per la ricostruzione visiva a partire dall’attività cerebrale EEG, che combina decodifica neurale e generazione multimodale introducendo inoltre una fase di ricostruzione potenziata per migliorare la qualità delle immagini. Entrambi i sistemi sono validati mediante metriche quantitative e valutazioni incentrate sull’utente. Infine, il pilastro della generalizzazione nel mondo reale affronta l’integrazione dei modelli di IA spaziale in ambienti interattivi con l’essere umano nel ciclo decisionale (human-in-the-loop). In particolare, viene proposto un sistema per la generazione da immagine singola a modello 3D che combina ragionamento multimodale, question answering multi-vista e raffinamento iterativo attraverso il feedback umano mediante un’interfaccia utente. Viene inoltre presentata una piattaforma di analisi immersiva per il settore della moda che integra interazione con prodotti tridimensionali, analisi visuale e visualizzazione delle tendenze all’interno di un ambiente XR. Nel complesso, questo lavoro presenta un paradigma unificato e operativo di intelligenza spaziale, dimostrando come i moderni sistemi di intelligenza artificiale possano essere integrati, dall’acquisizione e rappresentazione fino alla generazione e all’interazione, attraverso domini eterogenei quali il patrimonio culturale, la moda e le neuroscienze. Oltre ai contributi tecnici, la tesi sottolinea l’importanza della progettazione centrata sull’uomo, dell’interpretabilità e dell’interazione, posizionando l’intelligenza spaziale non soltanto come una capacità computazionale, ma come un’interfaccia collaborativa tra sistemi artificiali e creatività, cognizione e processi decisionali umani