Artificial Intelligence for Spatiotemporal Data and Remote Sensing Applications in Monitoring Systems

Modern monitoring systems depend on vast and ubiquitous sensor networks that record data from physical processes, with applications in maritime, agricultural, public infrastructure inspection, and many other domains for management purposes. These systems generate large amount of time series, spatiotemporal and visual data, which are analysed to reduce workload and operational delays caused by manual operations. Monitoring systems help regulatory bodies and authorities with resource conservation, compliance assessment, risk evaluation, and routine decision support. However, their effectiveness is subject to operational factors, for instance, limitations arising due to sensor failures, unstable connectivity in challenging environments, weather interference, and intentional disabling of reporting devices among many others, that create gaps in critical information. This thesis addresses some monitoring and management challenges, across three application domains and aims to answer the following research questions, (i) how to obtain or reconstruct spatiotemporal data when sensing is incomplete, (ii) how to detect and characterize small or visually scarce objects under limited data and resource constraints, and (iii) how to associate heterogeneous data modalities in settings where data coverage and quality vary. The first domain is maritime monitoring, where the work examines how missing segments in vessel trajectories can be reconstructed with sufficient accuracy to support operational decisions. A recurrent model BF-BiLSTM is introduced that combines backward and forward spatiotemporal data in a shared representation, which improves reconstruction performance across both short and extended gaps created by reporting failures or deliberate deactivation of the AIS transponders. This study also examines how small maritime vessels can be detected under limited annotated data and constrained computational resources in challenging maritime environments. To this end a range of convolutional object detectors with varying model architecture and sizes are examined and optimizations are performed that improve detection of small targets in satellite imagery and additionally classification of recreational fishers from imagery. Additionally, a multimodal pipeline is proposed that aligns spatiotemporal AIS data with detections from multiple satellite based imaging sensors in order to identify cooperative and non-cooperative behaviour from small vessels. The second domain is agricultural and environmental telemetry, where this thesis investigates how fragmented GNSS location records can be improved when network availability drops, and shows how a dedicated data collection and ingestion setup reduces positional inconsistencies and provides stable trajectories for downstream analyses such as resource conservation minimizing overlapping area in operations. Beyond positioning data, the work extends to multivariate environmental time series through a groundwater-monitoring study, in which both classical and neural forecasting models are compared to assess their ability to represent seasonal recharge dynamics. This study shows that short term groundwater dynamics can be forecasted reliably even with limited data when multivariate environmental variables are incorporated as external regressors and an appropriate cross validation strategy is used to stabilise model training under data scarcity. The third domain is public infrastructure inspection, where this work focuses on the monitoring activities concerned with the problem of scarcity of defect imagery. A controllable inpainting framework COIGAN is proposed that generates empirically evaluated defect classes and improves downstream applications tested through segmentation models demonstrating improvements when trained on generated images. Taken together, the contributions demonstrate that even when sensing is irregular or incomplete it is possible to support robust operational decisions by design of explicit methods. These results show how robust data driven models can still be built under real world conditions.

I moderni sistemi di monitoraggio si basano su vaste e ubiquitarie reti di sensori che registrano dati provenienti da processi fisici, con applicazioni nei settori marittimo, agricolo, dell’ispezione delle infrastrutture pubbliche e in molti altri ambiti di gestione. Questi sistemi generano grandi quantità di dati temporali, spaziotemporali e visivi, che vengono analizzati per ridurre il carico di lavoro e i ritardi operativi causati dalle attività manuali. I sistemi di monitoraggio supportano enti regolatori e autorità nella conservazione delle risorse, nella valutazione della conformità, nell’analisi dei rischi e nel supporto decisionale di routine. Tuttavia, la loro efficacia è soggetta a fattori operativi, ad esempio limitazioni dovute a guasti dei sensori, connettività instabile in ambienti difficili, interferenze meteorologiche e disattivazione intenzionale dei dispositivi di trasmissione, tra gli altri, che generano lacune in informazioni critiche. Questa tesi affronta sfide di monitoraggio e gestione in tre domini applicativi e mira a rispondere ai seguenti quesiti di ricerca: (i) come ottenere o ricostruire dati spaziotemporali quando la sensorizzazione è incompleta, (ii) come rilevare e caratterizzare oggetti piccoli o visivamente poco distintivi in presenza di dati e risorse limitati, e (iii) come associare modalità eterogenee di dati in contesti in cui copertura e qualità variano. Il primo dominio è il monitoraggio marittimo, in cui il lavoro esamina come ricostruire con sufficiente accuratezza segmenti mancanti nelle traiettorie delle imbarcazioni al fine di supportare decisioni operative. Viene introdotto un modello ricorrente BF-BiLSTM che combina dati spaziotemporali forward e backward in una rappresentazione condivisa, migliorando le prestazioni di ricostruzione sia su lacune brevi sia su intervalli estesi generati da malfunzionamenti nei sistemi di segnalazione o da disattivazioni deliberate dei trasponder AIS. Questo studio esamina inoltre come rilevare piccole imbarcazioni in presenza di dati annotati limitati e risorse computazionali vincolate in ambienti marittimi complessi. A tal fine vengono analizzati diversi rilevatori convoluzionali con architetture e dimensioni differenti e vengono applicate ottimizzazioni che migliorano il rilevamento di bersagli di piccole dimensioni nelle immagini satellitari e, inoltre, la classificazione di pescatori ricreativi a partire dalle immagini. Inoltre, viene proposta una pipeline multimodale che allinea dati spaziotemporali AIS con rilevamenti provenienti da sensori di imaging satellitare multipli al fine di identificare comportamenti cooperativi e non cooperativi delle piccole imbarcazioni. Il secondo dominio è la telemetria agricola e ambientale, in cui la tesi studia come migliorare registrazioni di posizione GNSS frammentate quando la disponibilità di rete diminuisce e mostra come una configurazione dedicata di raccolta e ingestione dei dati riduca le incoerenze di posizione e fornisca traiettorie stabili per analisi successive quali la conservazione delle risorse minimizzando le aree sovrapposte nelle operazioni. Oltre ai dati di posizionamento, il lavoro si estende alle serie temporali ambientali multivariate attraverso uno studio sul monitoraggio delle acque sotterranee, nel quale modelli previsionali classici e neurali vengono confrontati per valutarne la capacità di rappresentare la dinamica stagionale della ricarica. Questo studio mostra che le dinamiche di breve periodo delle acque sotterranee possono essere previste in modo affidabile anche con osservazioni limitate quando variabili ambientali multivariate vengono incorporate come regressori esterni e quando viene adottata una strategia appropriata di validazione incrociata per stabilizzare l’addestramento del modello in condizioni di scarsità di dati. Il terzo dominio è l’ispezione delle infrastrutture pubbliche, in cui il lavoro si concentra sulle attività di monitoraggio legate al problema della scarsità di immagini di difetti. Viene proposto un framework di inpainting controllabile COIGAN che genera classi di difetti valutate empiricamente e migliora le applicazioni successive, testate tramite modelli di segmentazione, dimostrando miglioramenti quando addestrati su immagini generate. Nel complesso, i contributi dimostrano che anche quando la sensorizzazione è irregolare o incompleta è possibile supportare decisioni operative robuste attraverso la progettazione di metodi espliciti. Questi risultati mostrano come sia comunque possibile costruire modelli robusti basati sui dati in condizioni operative reali.