Applied Artificial Intelligence for Precision Fishing: identification and classification of fishing activities

The constant increasing of fishing activities and marine traffic have made the monitoring and the classification of the ships activities an open challenge in marine scenario. Continued exploitation of fish resources has drastically reduced the abundance of these resources, with negative consequences on the fisheries sector itself. Over the years, some tools have been introduced, but initially they were only used to improve the safety of maritime traffic. The necessity of solving the problem of the monitoring and the classification of the ships activities in the new era of Artificial Intelligence (AI) leads to the development and to the implementation of new methods in Machine Learning (ML). In particular, the application of AI in this context defines a new concept called Precision Fishing. The work of this thesis has been developed in collaboration with “Istituto per le Risorse Biologiche e le Biotecnologie Marine” of the CNR (CNR-IRBIM). The aim of this research is to increase fisheries control by analysing Automatic Identification System (AIS) data and integrating them with additional data such as “Synthetic Aperture RADAR” (SAR) images. The objectives of this thesis regarded (i) the identification and (ii) the classification of fishing activities; (iii) the identification of illegal, unreported and unregulated (IUU) fishing activities through AI approaches. In the first topic, it is described an algorithm able to identify every single fishing session, meaning everything that happens from when the ship leaves the port of departure to the port of destination. In order to obtain this result, the first operation carried out is the filtering of outliers (on-land or erroneous AIS data), which has been achieved through a process of interpolation. The algorithm developed uses a rule set to identify each fishing session. Another innovative aspect of the algorithm compared to the state of the art is that it reconstructs incomplete fishing sessions, meaning those that do not have a temporally uniform distribution of AIS data. The reliability of the proposed method was evaluated on a dataset validated by experts in the field, and the results obtained showed that the effectiveness of the method outperformed the state of the art. In the second research topic, it is proposed a set of algorithms based on AI technologies in order to classify fishing activities. In detail, several classification algorithms are implemented using different Machine Learning and Deep Learning techniques. The innovation of this thesis over the state of the art is the design and the development of AI algorithms to support decision makers in the Precision Fishing field using AIS and satellite data. The reliability of the proposed methods was investigated using datasets validated by experts in the field and by studying the behaviour of ships over the years. The results obtained are better than the state of the art and this makes some of the proposed algorithms candidates to be considered as gold standard. In the third topic, it is presented an algorithm for the identification of IUU fishing activities. In this case the use of the AIS system alone is insufficient because in most cases, when the ship is engaged in this type of activity, the on-board systems are switched off so that the vessel cannot be located. The solution proposed is to integrate AIS data with SAR satellite images in order to recover the missing information, and thanks to the classification of fishing activities algorithm all those that are considered suspicious are detected. The proposed method has been validated by experts in the field and by the analysis of logbooks integrating knowledge of fishing systems.

Il costante incremento delle attività di pesca e del traffico marittimo in generale hanno reso il monitoraggio e la classificazione delle attività delle navi una sfida aperta nello scenario marino. Il continuo sfruttamento delle risorse ittiche ha ridotto drasticamente l’abbondanza di queste risorse con conseguenze negative sullo stesso settore della pesca. Nel corso degli anni sono stati introdotti degli strumenti che inizialmente però erano impiegati solamente per migliorare la sicurezza del traffico marittimo. La necessità di risolvere il problema del monitoraggio e della classificazione delle attività delle navi nella nuova era dell’Intelligenza Artificiale (IA) ha portato allo sviluppo e all’applicazione di nuovi metodi nel campo del Machine Learning (ML). In particolare, l’applicazione della IA in questo contesto definisce un nuovo concetto che prende il nome di Precision Fishing. Il lavoro svolto in questa tesi è stato sviluppato in collaborazione con l’Istituto per le Risorse Biologiche e le Biotecnologie Marine del CNR (CNR-IRBIM). L’obiettivo della tesi è incrementare il controllo delle attività di pesca analizzando dati provenienti dal Sistema di Identificazione Automatica (AIS) ed integrandoli ad esempio con le immagini satellitari “Synthetic Aperture RADAR” (SAR). Gli obiettivi della presente tesi hanno riguardato (i) l’identificazione e (ii) la classificazione delle attività di pesca e (iii) l’individuazione delle attività illegali, non dichiarate e non regolamentate (INN), mediante approcci di Intelligenza Artificiale. Nel primo tema di ricerca si presenta un algoritmo in grado di individuare ogni singola sessione di pesca, ossia tutto ciò che accade da quando la nave lascia il porto di partenza fino al porto di destinazione. Per ottenere questo risultato, la prima operazione svolta è quella del filtraggio degli outliers (dati AIS anomali o errati), che è stato ottenuto grazie ad un processo di interpolazione. L’algoritmo sviluppato utilizza un insieme di regole per identificare ciascuna sessione di pesca. Un altro aspetto innovativo dell’algoritmo rispetto allo stato dell’arte è quello di ricostruire sessioni di pesca incomplete, ossia quando quest’ultime non hanno una distribuzione temporalmente uniforme dei dati AIS. L’affidabilità del metodo proposto è stata valutata su un dataset validato da esperti nel settore, ed i risultati ottenuti hanno dimostrato che l’efficacia del metodo è superiore rispetto allo stato dell’arte. Nella seconda tematica si propone una serie di algoritmi basati sulle tecnologie dell’IA al fine di classificare le attività di pesca. In dettaglio vengono realizzati diversi algoritmi di classificazione utilizzando diverse tecniche di Machine Learning e di Deep Learning. L’innovazione apportata allo stato dell’arte rispetto agli obiettivi sopra riportati è nello sviluppo di algoritmi basati su IA che automatizzano processi di analisi dati per supportare decision maker nell’ambito della Precision Fishing. L’affidabilità dei metodi proposti è stata indagata utilizzando dataset validati da esperti nel settore e dallo studio dei comportamenti delle navi su diversi anni. I risultati ottenuti sono superiori allo stato dell’arte e questo fa si che alcuni algoritmi proposti si candidano ad essere considerati come gold standard. Nel terzo tema di ricerca si presenta un algoritmo per l’identificazione delle attività di pesca INN. In questo caso l’utilizzo del solo sistema AIS è insufficiente perché nella maggior parte dei casi, quando la nave è impegnata in questo tipo di attività, i sistemi di bordo vengono spenti in modo da non poter essere rintracciati. La soluzione proposta è quella di integrare i dati AIS con le immagini satellitari SAR in modo da ricostruire l’informazione mancante, e grazie all’algoritmo di classificazione delle attività di pesca, vengono rilevate tutte quelle che sono ritenute sospette. Il metodo proposto è stato validato da esperti nel settore e dall’analisi dei registri di bordo integrando la conoscenza dei sistemi di pesca.