Multimodal vision and Artificial Intelligence for the characterization of construction and demolition and municipal solid waste

Sustainable and safe solid waste management requires automated characterization tools combining metrological robustness with industrial scalability. This thesis proposes a framework based on multimodal computer vision and artificial intelligence applied to two complementary domains: Construction and Demolition Waste (CDW) and unsorted Municipal Solid Waste (MSW). For CDW, AI-based recognition models using RGB images were developed and deployed in real time on a pilot plant. These were complemented by laboratory spectral characterization protocols. Active infrared thermography was used to estimate the emissivity of key construction materials (concrete, wood, bricks, ceramics), while hyperspectral imaging (400–1000 nm) enabled the extraction of distinctive spectral signatures. Data were classified using Spectral Angle Mapper (SAM), Multilayer Perceptron (MLP), and Convolutional Neural Networks (CNN), achieving accuracies above 90% and demonstrating transferability from controlled laboratory conditions to in-line industrial scenarios. In the MSW study, a stereo camera was integrated on an industrial sorting line. Acquisition parameters were optimized according to lighting and belt speed constraints, and segmentation models were trained to recognize the most representative waste classes. A deterministic algorithm based on point cloud processing was implemented for volume estimation. By combining volume with experimentally derived average density, waste mass was calculated. Uncertainty analysis showed <10% uncertainty for volume and approximately 19% for mass. Considering the high conveyor speed and uninterrupted plant operation, these results are operationally promising. Overall, the integration of optical sensors and AI techniques enables automated sorting, improved material recovery, and enhanced risk assessment (e.g., fire load estimation), with strong potential for scalability and transfer to other waste management and smart factory contexts.

La gestione sostenibile dei rifiuti solidi richiede sistemi di caratterizzazione automatica che integrino robustezza metrologica e scalabilità industriale. Questa tesi propone un framework basato su visione artificiale multimodale e algoritmi di intelligenza artificiale applicato a due domini: rifiuti da costruzione e demolizione (CDW) e rifiuti solidi urbani indifferenziati (MSW). Per i CDW sono stati sviluppati modelli di riconoscimento basati su immagini RGB operanti in tempo reale su impianto pilota, affiancati da protocolli di caratterizzazione spettrale in laboratorio. Mediante termografia IR attiva è stata stimata l’emissività di materiali da costruzione (calcestruzzo, legno, mattoni, ceramica), mentre l’analisi iperspettrale ha consentito l’estrazione di firme spettrali distintive. I dati, classificati con SAM, MLP e CNN, hanno raggiunto accuratezze superiori al 90%, dimostrando la trasferibilità del modello da ambiente controllato a scenario operativo. Per i MSW è stata integrata una stereo camera su linea di vagliatura industriale. Sono stati ottimizzati i parametri di acquisizione e addestrati modelli di segmentazione per il riconoscimento delle principali classi presenti. Parallelamente è stato sviluppato un algoritmo deterministico per la stima del volume da nuvole di punti; combinando il volume con la densità media sperimentale è stata stimata la massa. L’analisi di incertezza ha evidenziato un’incertezza <10% sul volume e circa 19% sulla massa, risultato significativo considerando l’elevata velocità del nastro e l’assenza di modifiche alle condizioni operative dell’impianto. Le performance AI risultano ~90% per CDW e ~50% per MSW, differenza attribuibile alla qualità dei dati acquisiti. Il lavoro dimostra come l’integrazione di sensori ottici e IA possa abilitare sorting automatizzato, migliorare il recupero di materia e supportare la valutazione del rischio (es. carico d’incendio), con prospettive di trasferimento verso altri contesti industriali e sistemi smart-factory.