Artificial Intelligence assisted Building Digitization using Mixed Reality

Facility Management in complex buildings requires a large amount of information that can be stored in a functional building model. A functional building model is a structured representation of the building including information crucial for specific functions such as safety, refurbishment actions or operation and maintenance. Surveying this kind of data, such as technical properties of building components, is a costly process. For this reason, an advanced tool for engineering surveys is needed. Nowadays many studies still focus on capturing geometry, overlooking the fact that many recurring actions are conducted on assets inside buildings. Many systems proposed exploit highly accurate survey techniques, like laser scanning or photogrammetry, but they need long postprocessing efforts to interpret data collected. Moreover, these operations are not pursued on site leading to inaccuracies for the incorrect interpretation of data. Under these circumstances, the possibility of performing the majority of operation on-site would definitely make the process more efficient and it would reduce errors. This research proposes a system for digitization exploiting manmachine intelligence collaboration without post-processing. To this aim, Mixed Reality with its capability of interacting with real world is applied giving an environment for man-machine collaboration. The capability of Mixed Reality of overlapping digital data to the real environment makes possible checking data directly on site. For the object recognition process the system proposed in this research make use of Neural Network. YOLO (You Only Look Once) Neural Networks has been chosen for its speed and multiple detection features, ideal for real-time applications. The system has been developed and its performance evaluated for the detection of fire protection system components. First single Neural Network have been tested reaching always more than 85%of F1 factor. Then the whole embedded system proposed has been tested on site to prove its feasibility in a real-world scenario.

Il Facility Management in edifici complessi richiede una grande quantità di informazioni che possono essere archiviate in un modello funzionale dell’edificio. Un modello funzionale è una rappresentazione strutturata dell'edificio che include informazioni cruciali per funzioni specifiche come la sicurezza, le azioni di ristrutturazione o il funzionamento e la manutenzione. Il rilevamento di questo tipo di dati, come le proprietà tecniche dei componenti dell'edificio, è un processo costoso. Per questo motivo, è necessario uno strumento avanzato il rilievo ingegneristico. Oggi molti studi si concentrano ancora sull'acquisizione della geometria, trascurando il fatto che molte azioni ricorrenti sono condotte su componenti all'interno degli edifici. Molti sistemi proposti sfruttano tecniche di rilevamento altamente accurate, come la scansione laser o la fotogrammetria, ma che richiedono lunghi sforzi di post-elaborazione per interpretare i dati raccolti. Inoltre, queste operazioni non vengono eseguite sul posto, portando a imprecisioni causate da un’interpretazione errata dei dati. In queste circostanze, la possibilità di eseguire la maggior parte delle operazioni in loco renderebbe sicuramente il processo più efficiente e ridurrebbe gli errori. Questa ricerca propone un sistema di digitalizzazione che sfrutta la collaborazione uomo-macchina evitando fasi di post-elaborazione del dato. A questo scopo, vengono sfruttate le potenzialità della Mixed Reality quali la sua capacità di interagire con il mondo reale, creando un ambiente ideale per la collaborazione uomo-macchina. La capacità della Mixed Reality di sovrapporre i dati digitali all'ambiente reale rende possibile il controllo dei dati direttamente in sito. Per il processo di riconoscimento degli oggetti il sistema proposto in questa ricerca si avvale di rete neurale. La rete neurale YOLO (You Only Look Once) è stata scelta per la sua velocità e funzionalità di rilevamento multiplo, ideale per applicazioni in tempo reale. Il sistema è stato sviluppato e le sue prestazioni sono state valutate per il rilevamento di componenti del sistema antincendio. Il primo set di allenamenti è stato testato ed ha raggiunto sempre più dell'85% del fattore F1. Quindi l'intero sistema è stato testato in sito per dimostrare la sua fattibilità in uno scenario del mondo reale.