Open Data Analytics - Advanced methods, Tools and Visualizations for Policy Making

The research discussed in this thesis is focused on developing and applying new methodologies for collecting, processing and visualizing large sets of open data for public policy performance assessment and decision making. The research focuses on the effectiveness of ESIF and the use of other open data sources for data-driven decision making supporting public managers. While data analytics represents the research topic, public policy open data is the application domain. Beyond the problem of transparency and accountability to citizens, accessible and usable public data have great informative value for public administration decision making. Open sources of data allow administrators, researchers and practitioners to develop new analysis and visualizations that can unleash the hidden informative potential of data with meaningful insights. Data management and performance monitoring are core to business intelligence (BI) informing and supporting decision making, not only for private enterprises. For this reason, recent years have seen increasing numbers of open data initiatives, public database diffusion, open data hackathons and data-related initiatives. Furthermore, the pari passu diffusion of recent technologies and data sharing systems such as application program interfaces (APIs) are also boosting the diffusion and use of public policy data. Based on this framework, using opendata the research attempts to address the following two hypotheses: H1: Open data platforms can be considered useful for policy making and not just as data tombs set up only to satisfy governmental digital agenda requirements. H2: In allocating research and innovation investments, regions have developed their S3s according to embeddedness, relatedness and connectivity. For this reason, this document has two main parts: • The first gives a comprehensive overview of the use of open data at European Union (EU) level for monitoring and performance assessment. Using ESIF open data, the research focuses on developing a wider and deeper approach to the use of open data for simpler and more effective interpretation and insights; • The second part uses additional open data sources (public documents, RegPat patents and CORDIS projects) to assist strategy development and assessment. The research in this second part highlights possible uses of open data to promote data-driven policy making. In the first part is an explanation of a web tool dedicated to visualizing ESIF open data that improves on current methodologies and tools to expose insights based on:  Theoretical principles for simpler and more effective interpretation;  Adoption of advanced technologies for a simple and flexible solution. The second part includes an analytical framework with empirical results. This is based on the capacity of Italian regions to effectively allocate crucial regional investments in public and private R&D, according to the European innovation policy (Smart Specialisation Strategy). Despite the wider diffusion and increase of open data availability and of more powerful technologies to exploit their potential, these resources present many issues (Schintler, 2014). Beyond the volume and the complexity of the available data, the velocity and veracity (uncertainty) of the data sources affect their quality, accuracy and completeness. ESIF open public information still lacks sufficient granularity and completeness to represent a full informative asset. This creates a blurred lens problem, with reduced informative power for the data available. For example, microdata on individual projects financed by ESIF are reported by only a few Member States despite they are the most detailed source of information at the deepest level possible for the problem under analysis. Moreover, using open data often implies adopting only an approximation of the information needed. As with regional investments for innovation policies, patent and research project data are used as a proxy for innovation potential, though most enterprise innovation remains untracked, especially in many Italian regions. Different and more specific data should be collected and assessed to improve decision making regarding such topics. This problem goes beyond the scope of this document.

La ricerca discussa in questa tesi è incentrata sullo sviluppo e l'applicazione di nuove metodologie per la raccolta, l'elaborazione e la visualizzazione di opendata per il supporto alle decisioni nell’ambito delle amministrazioni pubbliche. La ricerca si concentra sull'efficacia dei fondi strutturali e sull'uso di altre fonti di opendata per il processo decisionale basato sui dati a disposizione delle amministrazioni. Mentre l'analisi dei dati rappresenta l'argomento di ricerca, gli opendata sono il dominio di applicazione. Oltre al problema della trasparenza e della responsabilità nei confronti dei cittadini, i dati pubblici accessibili e utilizzabili hanno un grande valore informativo per i processi decisionali della pubblica amministrazione. Le fonti di dati aperte consentono agli amministratori, ai ricercatori e ai professionisti di sviluppare nuove analisi e visualizzazioni in grado di liberare il potenziale informativo nascosto dei dati con miglioramenti significativi della capacità e della qualità informativa. La gestione dei dati e il monitoraggio delle prestazioni sono fondamentali per la Business Intelligence (BI) a supporto dei processi decisionali non solo per le imprese private. Per questo motivo, negli ultimi anni si è assistito ad una progressiva diffusione di iniziative di open data, apertura di database pubblici, hackathon e iniziative relative alla gestione e all’analisi dei dati. Inoltre, la diffusione delle tecnologie e dei sistemi di condivisione dei dati attraverso interfacce strutturate come le API (Application Program Interface) contribuiscono ad aumentare progressivamente la diffusione e l'uso dei dati di politica pubblica. Sulla base di questo framework, la ricerca tenta di validare le seguenti due ipotesi utilizzando gli open data: H1: Le piattaforme di dati aperti possono essere attivate per il supporto alla definizione ed analisi delle politiche e, a differenza delle critiche in letteratura, non vanno considerate archivi di dati creati al solo scopo di soddisfare i requisiti delle agende digitali dei vari paesi; H2: Nell'allocazione degli investimenti in ricerca e innovazione, le regioni hanno sviluppato le strategie di specializzazione intelligente secondo i criteri di coerenza, connettività inter-regionale e connettività intraregionale. Per via delle due ipotesi, il documento si divide in due parti principali: La prima offre una panoramica completa dell'uso di dati aperti a livello dell'Unione europea (UE) per il monitoraggio e la valutazione delle performance della pubblica amministrazione nell’allocazione dei fondi strutturali. Utilizzando gli open data disponibili attraverso i web service della piattaforma ESIF, la ricerca si concentra sullo sviluppo di un approccio più ampio e più profondo all'uso dei dati aperti per un'interpretazione più semplice, più efficace e a più ampio spettro; La seconda parte utilizza ulteriori fonti di dati aperti (documenti pubblici, brevetti RegPat e progetti CORDIS) per supportare lo sviluppo e la valutazione della strategia di specializzazione intelligente, richiesta alle regioni per giustificare gli investimenti in ricerca e sviluppo attraverso i fondi strutturali. La ricerca in questa seconda parte mette in evidenza possibili utilizzi di dati aperti per promuovere la definizione di policy basate sui dati. La prima parte descrive l’architettura di uno strumento web dedicato alla visualizzazione di dati aperti ESIF alimentato da specifiche API. La logica architetturale e l’impostazione del tool si basano su: Principi teorici disponibili in letteratura per un'interpretazione più semplice e più efficace delle informazioni per un pubblico non necessariamente altamente specializzato; Adozione di tecnologie avanzate per produrre una soluzione semplice e flessibile. La seconda parte include la struttura analitica e i risultati empirici basati su diverse fonti di open data opportunamente collegate. I risultati evidenziano quanto le regioni italiane siano state in grado di allocare in modo efficace investimenti regionali cruciali nella R & S pubblica e privata, secondo i criteri previsti dalla strategia di specializzazione intelligente. Tuttavia, nonostante il recente aumento e diffusione della disponibilità di dati aperti e di tecnologie più potenti per sfruttarne potenziale, queste risorse informative presentano diversi limiti. Al di là del volume e della complessità dei dati disponibili, la velocità e l’incertezza delle fonti di dati influiscono sulla loro qualità, accuratezza e completezza. L'informazione pubblica aperta dei fondi strutturali, così come per altri ambiti, manca ancora di granularità e completezza sufficienti a rappresentare un patrimonio informativo completo. Ne deriva una parziale visione delle problematiche, con un potenziale informativo ridotto per i dati disponibili. Ad esempio, i microdati dei singoli progetti finanziati dai fondi strutturali sono riportati solo da alcuni Stati membri, nonostante siano la fonte di informazioni più dettagliata per il problema in esame. Inoltre, l'uso di dati aperti implica spesso l'adozione solo di un'approssimazione delle informazioni necessarie. I dati di progetti di ricerca e di brevetti possono essere utilizzati solamente come proxy del potenziale di innovazione regionale, considerando che la maggior parte delle innovazioni aziendali resta senza traccia, specialmente in molte regioni italiane con una diffusa presenza di piccole e medie imprese. Dati diversi e più specifici dovrebbero essere raccolti e valutati per migliorare il processo decisionale nell’ambito dell’innovazione. Questo problema va oltre lo scopo di questo documento.