Cosa sono e a cosa servono gli Open Data?

I dati aperti non sono altro che dati accessibili gratuitamente da tutti, poiché privi di limiti legali che ne impediscono il riuso, anche a scopi commerciali. I dati sono oggi una vera e propria materia prima per la produzione di nuovi servizi digitali, nella forma di App o portali web, che creano valore per gli utenti finali, ma anche potenziali fonti di reddito per gli sviluppatori. Il settore pubblico è un enorme produttore di dati, che se correttamente esposti possono essere appunto sfruttati per migliorare la qualità di servizi digitali esistenti o crearne di nuovi, a vantaggio della PA stessa e della società civile. Se il riuso di dati aperti porta allo sviluppo di nuovi servizi per la cittadinanza, si parla di innovazione sociale abilitata dagli Open Data. Inoltre, i dati sono indispensabili per la conduzione di attività di analisi e ricerca, oltre che azioni di monitoraggio e studio del territorio.

Nella PA, l’apertura dei dati rappresenta un passaggio culturale necessario per il rinnovamento delle istituzioni, nonché il loro avvicinamento a cittadini e imprese, abilitando moderne e virtuose forme di e-government. La pubblicazione di dataset aperti porta al progressivo abbattimento del costo di ricerca di dati ed informazioni e al miglioramento della loro qualità, poiché richiede ed incentiva azioni di censimento, pulizia e controllo del patrimonio informativo pubblico rende la PA più trasparente e vicina ai cittadini.

A questo link potete trovare alcuni esempi di applicazioni create a partire dai dati aperti di ARPAV – Agenzia Regionale per la Prevenzione e Protezione Ambientale del Veneto.

Cos'è il Portale Open Data Veneto?

Il Portale Open Data Veneto è il catalogo dei dati aperti della Regione del Veneto, realizzato in conformità al paniere dinamico di dataset di AgID e ai principali standard tecnici, nazionali ed internazionali. Il Portale consente il caricamento, la ricerca, la visualizzazione ed il download dei dati aperti degli enti pubblici del Veneto.

A chi è rivolto il Portale Open Data Veneto?

Il Portale è rivolto a tutti coloro che vogliano conferire i propri dati aperti, relativi al territorio veneto, all’Amministrazione regionale e riutilizzare quanto già presente nel catalogo anche a fini commerciali. Il Portale, quindi, vuole essere uno strumento prezioso per coloro che desiderino contribuire proattivamente, con senso di comunità e spirito di imprenditorialità, alla crescita del patrimonio informativo regionale e allo sviluppo economico e sociale del territorio veneto.

Cosa sono le licenze d'uso?

Le licenze d'uso definiscono le condizioni e le modalità di riutilizzo del patrimonio informativo regionale. La licenza d'uso dei dati è nei fatti un contratto, sottoscritto da chi scarica il dataset in questione e ne riutilizza i dati. La licenza definisce: l'oggetto della licenza stessa; la natura del soggetto fisico e/o giuridico autorizzato al riutilizzo del dato; lo scopo e la finalità per le quali la licenza è concessa (uso commerciale o non commerciale, uso personale, uso didattico, uso scientifico); le attività consentite (consultazione, duplicazione, integrazione e modifica); le condizioni di riutilizzo (le responsabilità e gli obblighi del titolare del documento, le responsabilità e gli obblighi del soggetto riutilizzatore, la natura gratuita o onerosa del riutilizzo, nonché le modalità di versamento).

Come faccio a capire se il mio dataset è in formato aperto?

Per rispondere a questa domanda basta fare riferimento al modello dei dati a cinque stelle di Tim Berners-Lee, co-inventore del World Wide Web. Sulla base di questa classificazione se un dataset appartiene almeno alla categoria Tre Stelle (★★★) è sicuramente classificabile come dato aperto.

Cosa sono i metadati?

I metadati sono informazioni a corredo di un dataset disponibile in formato aperto e giocano un ruolo fondamentale per la riusabilità e la corretta applicabilità dei dati, poiché consentono una loro maggiore comprensione e aiutano la ricerca e la scoperta degli stessi mediante nei cataloghi.
“Metadatare” un dataset significa contestualizzarne il contenuto informativo. Più ampia è la metadatazione di un dataset, maggiore sarà la sua comprensione da parte del grande pubblico e la sua riusabilità per la creazione di nuovi servizi e prodotti. Perciò, la metadatazione è una fase cruciale del percorso previsto per la produzione e il rilascio di dati di tipo aperto.
Nelle Linee guida per la valorizzazione del patrimonio informativo pubblico (consultabili a questo link) AgID indica metadati obbligatori e obbligatori limitatamente al verificarsi di alcune condizioni (obbligatori condizionatamente). Esempi di metadati sono: creatore, editore (colui che pubblica il dataset nel Portale), contesto geografico, arco di tempo, descrizione e finalità, licenza, formato e frequenza di aggiornamento.

Come si possono scaricare i dataset?

L’utente può effettuare il download dei dataset, nella forma in cui originariamente il file che li contiene è stato caricato, oppure in un formato aperto differente, reso disponibile dal Portale. Questi alcuni formati (aperti) disponibili: csv, json, xml, rdf.

Come si possono ricercare i dati?

I dataset del Portale vengono pubblicati attraverso l’accesso all’Area Riservata (in basso) e raccolti nel catalogo. Per esplorare i dataset pubblicati nel catalogo e ricercare quelli di proprio interesse sono a disposizione diverse modalità:

• Ricerca per parola chiave

La ricerca del testo è avviata sull’intero catalogo, su tutti gli attributi presenti nella Scheda del dataset e anche su tutti i contenuti, nonché la struttura, del dataset stesso. I risultati vengono presentati in un elenco, mediante schede che danno informazioni di sintesi sul dataset, come la descrizione, la fonte e i formati disponibili per il download.

• Ricerca per categorie

Esplorare i dati di interesse per categorie, selezionando una delle icone presenti nella Home, che rappresentano i temi principali cui afferiscono i dati.

• Ricerca per filtri

L'utente può combinare filtri e criteri di ricerca in modo semplice e intuitivo; se non viene effettuata nessuna ricerca, l’utente avrà a disposizione tutti i dataset pubblicati. È possibile scegliere e combinare nel pannello dei filtri, posto sulla sinistra dello schermo, i seguenti criteri: banca dati, tema, fonte, formato, parola chiave, licenza.

A cosa corrispondono le diverse date rappresentate nelle schede OpenData?

All'interno delle schede OpenData sono indicate 3 tipologie di date:

1. "DATA CREAZIONE": questa data è fissa e non modificabile. Corrisponde alla data in cui è stata creata la scheda OpenData.
2. "AGGIORNATO AL": questa data è aggiornata automaticamente dal sistema e non è modificabile. Corrisponde alla data di ultima modifica effettuata nella scheda - ovvero un aggiornamento di un qualsiasi campo nella metadatazione (titolo, descrizione, tematica, fonte, eccetera) oppure del dato fisico stesso o degli allegati.
3. "DATO AGGIORNATO AL": questa data è opzionale e può essere inserita e modificata dagli autori delle schede. Con questa informazione si vuole indicare la data di riferimento e di aggiornamento del dato stesso (diversa quindi dalla data di ultima modifica della scheda). Ad esempio, può essere utile per indicare se i dati, pur caricati nell'anno corrente, fanno riferimento a rilevazioni degli anni precedenti
   Una volta inserita, questa data può essere modificata, ma non rimossa.

Come posso caricare il mio dataset sul Portale?

Per poter caricare un dataset sul Portale Open Data Veneto è necessario accedere all’Area Riservata ed inserire le proprie credenziali, le quali vengono rilasciate a fronte dell’adesione da parte del conferitore alla politica regionale in materia di Open Data. Al momento possono aderire e richiedere credenziali di accesso solo gli Enti pubblici del Veneto. Per visionare la procedura di adesione e, quindi, di caricamento di un dataset sul Portale si rimanda al documento “Linee guida per l’ecosistema regionale veneto dei dati aperti (Open Data)”, scaricabile a questo link, oppure al documento di sintesi Kit Open Data, scaricabile a questo link.

Devo aggiornare una scheda del Catalogo caricata precedentemente, inserendo dei nuovi dati. È possibile conservare il dato storico per gestirne le nuove versioni all'interno di una singola scheda?

Il Portale OpenData non dispone attualmente di un sistema di versioning e storicizzazione dei dati. Nel caso si intenda conservare il dato storico per caricarne una versione aggiornata è possibile seguire due diverse modalità:

1. L’operazione consigliata è quella di creare una nuova scheda con il dato aggiornato, indicando il riferimento dell’anno, mese o data di aggiornamento, che andrà indicato anche nel dato storico, il quale verrà perciò mantenuto in una scheda distinta.
2. In alternativa è possibile utilizzare la stessa scheda, inserendo nativamente il nuovo dato aggiornato secondo procedura standard (caricamento di un file e visualizzazione in Tabella e/o Grafico e/o Mappa), inserendo successivamente il dato storico nella sezione “Allegati”.

Esiste un sistema per caricare ed aggiornare le schede OpenData in via massiva e automatica, ad esempio per integrare la gestione dei dati all'interno di altri portali, applicazioni o WebServices?

Sì, il sistema OpenData Veneto espone delle API (CKAN) che consentono di accedere al catalogo completo dei dati e relativa metainformazione, in via programmatica. Tra le operazioni disponibili per la gestione delle schede tramite API vi sono quelle di inserimento, pubblicazione, aggiornamento e harvesting delle schede.
La documentazione specifica per la gestione delle schede in OpenData Veneto è disponibile su richiesta conttattando helpdesk.opendata@regione.veneto.it (inserendo in copia per conoscenza nella richiesta l'indirizzo opendata@regione.veneto.it).
Per un approfondimento sull'utilizzo delle API CKAN generiche si rimanda alla relativa pagina di documentazione.

Secondo quale frequenza vengono revisionati e pubblicati i dataset caricati dagli autori scheda, da parte degli amministratori OpenData?

I nuovi dataset inseriti dagli autori scheda nel portale OpenData vengono verificati quotidianamente (nei limiti della disponibilità del personale HelpDesk) ed i dataset che non richiedono particolari interventi di revisione, vengono pubblicati entro le medesime tempistiche.
Nel caso si riscontrino delle criticità o dei problemi nella scheda (dato non caricato correttamente, metadatazione incompleta, o altri problemi generici nell’inserimento dati), la direzione HelpDesk si premurerà di contattare gli autori per la risoluzione del problema e la corretta pubblicazione della scheda.

Per il progetto Innovation LAB, per quanto riguarda le scadenze dei periodi per il conferimento di nuovi dataset, viene considerata la data di inserimento o la data di approvazione delle schede?

Nel contesto Innovation LAB, per monitorare i conferimenti da parte dei comuni aderenti al bando, fa fede la data di creazione / inserimento delle nuove schede; la data di approvazione viene considerata non legata alla produzione di un nuovo dataset bensì alla sua conferma tecnica.
Ad ogni modo, si mantiene valido l'auspicio di una opportuna verifica iniziale da parte di ogni autore al momento dell'inserimento di una nuova scheda.

Cosa sono i Linked Open Data?

I Linked Open Data (LOD) sono fondamentalmente dati aperti collegati tra loro tramite dei semplici link aggiunti nei metadati. I LOD sono accessibili tramite un protocollo http ed un Uniform Resource Identifier (URL), ovvero, un codice identificativo web univoco. Infatti, spesso una medesima categoria di dati potrebbe essere presente in più portali web e avere solo lievi differenze, ad esempio, i dati sull’afflusso turistico a Milano potrebbero essere contenuti sia sul portale ISTAT, sia su quello di Regione Lombardia, anche se con lievi divergenze numeriche, dovute al metodo di censimento utilizzato. Nel caso in cui Regione Lombardia ritenga che i suoi dati sul turismo siano meno sofisticati di quelli raccolti ed elaborati da ISTAT, o che tra essi possa esserci un rapporto di complementarità, potrebbe aggiungere nei metadati un link di rimando al dataset ISTAT, specificando il perché di tale collegamento, così da rendere più facile l’eventuale integrazione e confronto tra i due tipi di dati. In questo caso si parla di smart data, ovvero, dati che tra loro si arricchiscono e completano. È molto importante, naturalmente, che il publisher del dataset crei dei link con altri dati aperti solo se sicuro che provengano da fonti attendibili.

In questo video di ForumPA, Diego Valerio Camarda spiega cosa siano i LOD e perché siano importanti per la PA. Le amministrazioni pubbliche possono creare uno spazio di dati interconnessi tra loro (i LOD), che rispettino il know-how dell’ente e al contempo ne arricchiscano il patrimonio informativo. È molto importante che gli amministratori comprendano il valore aggiunto che deriva da questo approccio alla pubblicazione dei dati aperti, cioè che nel processo di pubblicazione di un dataset aperto, tengano conto dei possibili link utili ad altri dataset, attendibili, di riferimento.

Cosa sono gli Shapefile?

Lo Shapefile (ESRI) è un formato vettoriale standard open source utilizzato nei Sistemi Informativi Geografici (GIS) per la gestione di dati geografici.
Esso descrive spazialmente degli oggetti che possono essere costituiti dalle seguenti tipologie di geometria:

• Puntuale
• Lineare
• Poligonale

Ciascun elemento geometrico può avere poi associati degli attributi che ne descrivono le diverse proprietà.

Con "Shapefile" si indica in genere un insieme costituito da almeno 3 file, aventi le seguenti estensioni:
.shp => contiene le geometrie
.dbf => contiene gli attributi delle geometrie
.shx => contiene gli indici che unisco geometrie ad attributi

Inoltre, può essere associato ad ulteriori file opzionali:
.prj => contiene le informazioni sul sistema di riferimento utilizzato
.shp.xml => contiene il metadato dello shapefile
.sbn e .sbx => contengono gli indici spaziali per gestire efficientemente le geometrie

Tra i software open source utilizzati per la gestione di questo tipo di dati vi sono: QGIS, GvSIG, uDIG, OpenJump.

Quali sono i formati di dati geografici disponibili e gestiti nel Catalogo OpenData Veneto?

Il Portale Open Data supporta nativamente due formati cartografici: SHP (Shapefile) e KML/KMZ (formato standard di Google Earth).
Per questi formati è disponibile, oltre alla rappresentazione dei dati tramite la vista tabellare, anche una visualizzazione su "Mappa" delle geometrie presenti nel file.

Per quanto riguarda l’inserimento dei dati nelle schede OpenData, il formato KML/KMZ consente il caricamento diretto del singolo file
Per caricare i dati in formato Shapefile è necessario rispettare le seguenti specifiche:

1. È necessario caricare un file .zip contenente almeno i seguenti file necessari:
   • .shp
   • .shx
   • .dbf
   • .prj
2. Le coordinate del dato devono essere Geografiche WGS84 (non proiettato).
3. Per l'aggancio territoriale delle colonne è necessario fornire i codici ISTAT di comuni, province o regioni oppure i nomi ufficiali (ISTAT).

Ad ogni modo, per una consultazione più completa dei dati geografici disponibili nella Regione del Veneto, si rimanda al GeoPortale IDT-RV 2.0 – Infrastruttura Dati Territoriali della Regione del Veneto – raggiungibile a questo link.