Actualités Isogeo


Veuillez saisir un courriel au format valide
10
Jan
2022

Publiez vos données sur data.gouv.fr avec le module DCAT Isogeo

Léo Darengosse

Publiez vos données sur data.gouv.fr avec le module DCAT Isogeo

 

Suite à l'arrêt de geo.data.gouv.fr, les clients Isogeo ne peuvent plus utiliser la passerelle INSPIRE basée sur le CSW pour publier leurs catalogues de données géographiques sur data.gouv.fr.

Aussi, grâce au financement des départements du Loiret, du Calvados et de la ville de Bayonne que nous remercions tous chaleureusement, un nouveau serveur DCAT (Data Catalog Vocabulary) basé sur l'API Isogeo et compatible avec le modèle du moissonneur DCAT de data.gouv.fr a été développé.

Ce nouveau produit est le fruit de la collaboration entre l'équipe technique Isogeo et notre partenaire Living Data, représenté par son fondateur Jérome Desboeufs.

Découvrez le fonctionnement de ce nouveau module d'interopérabilité dans cet article !

 

Choix technologiques

 

Le serveur DCAT a été développé comme une application tierce de la plateforme Isogeo, fonctionnant sur le même principe que l'OpenCatalog.

Il suffit de partager un ou plusieurs catalogues au module DCAT, et une url contenant l'identifiant du partage et un token de sécurité sera générée. Cette URL est moissonnable par data.gouv.fr.

Module DCAT Isogeo

Concernant les caractéristiques techniques, le serveur DCAT est développé en Node.js, propulsé par un serveur ExpressJS avec un Reverse Proxy NGINX et hébergé sur une App Service Azure.

Le serveur utilise également les capacités de l'API de gestion des services géographiques développée par Isogeo pour générer des urls de téléchargement des données à partir des services WFS et EFS associés aux métadonnées. 

Comme la majorité des outils Isogeo, le serveur bénéficie d’une pipeline CI-CD Azure DevOps permettant de faciliter les mises à jour et l'optimisation du produit.

 

Champs de métadonnées

 

Pour synchroniser les métadonnées Isogeo avec le modèle de métadonnées de data.gouv.fr, nous avons élaboré un tableau de correspondance des champs en fonction de ce qui était récupéré par le moissonneur DCAT de data.gouv.fr

 

Champs DCAT data.gouv.fr

Champs Isogeo

Description

Titre

Titre

Le titre de la métadonnée est saisi.

Acronyme

 

Ce champ n'est pas saisi.

Description

Résumé

Contexte de collecte

Méthode de collecte

Attributs

Lien OpenCatalog

La description est saisie en markdown de la manière suivante :

Description : Résumé

Contexte de collecte : Contexte de collecte

Méthode de collecte : Méthode de collecte

Attributs : Tableau contenant le nom du champ, l'alias et le type

Pour en savoir plus, consulter la métadonnée sur le catalogue Isogeo.

Mots-clés

Mots-clés

Thématiques

Les mots-clés et les thématiques du groupe de travail sont saisis. En revanche, nous avons choisi de ne pas remonter les thèmes Inspire.

Licence

Condition

Seules les licences ouvertes sont acceptées par data.gouv.fr, la licence Etalab 2.0 étant préconisée.

Couverture spatiale

Emprise

Malheureusement, ce champ n'est pas récupéré par le moissonneur DCAT bien que présent dans le modèle de métadonnée de data.gouv.fr. L'emprise de la donnée n'est donc pas remontée dans la fiche data.gouv.fr.

Couverture temporelle

Période de validité

Ce champ est récupéré uniquement lorsqu'il est saisi sur les données millésimées. 

Fréquence de mise à jour

Fréquence de mise à jour

Ce champ est saisi selon la correspondance entre la nomenclature Isogeo et celle de data.gouv.fr.

 

 

Liens de téléchargement de la donnée

 

Pour publier sur la plateforme open data nationale, il ne suffit pas de publier les métadonnées : il faut également permettre le téléchargement des données.

 

Via des liens de téléchargement direct

Il est possible d'exploiter les liens de téléchargement des fichiers téléversés sur la plateforme Isogeo ou des liens de téléchargement saisis dans l'onglet Ressources/Données de la fiche de métadonnées. 

Onglet Données de la fiche de métadonnées 

Le titre du lien indiqué dans Isogeo, son url et son format sont donc récupérés et intégrés aux ressources de la fiche data.gouv.fr.

Ressources de la fiche data.gouv.fr

 

Via les services géographiques

Nous avons également décidé d'exploiter les services WFS associés aux fiches de métadonnées. En effet, ces services permettent d'extraire la donnée dans les formats et projections disponibles selon le serveur cartographique utilisé (ArcGIS Server, QGIS Server, Geoserver, GEO...).

Onglet couches associées

Dans un premier temps, nous avons choisi de générer des urls de téléchargement au format GeoJSON en WGS 84 lorsque le serveur cartographique le permet. En effet, le GeoJSON est un format préconisé par data.gouv.fr et celui-ci est généralement supporté en téléchargement par les serveurs cartographiques. 

L'API de gestion des services cartographiques est appelée pour détecter si ce format d'export et cette projection sont disponibles et l'url de téléchargement est générée le cas échéant. Cette url est ensuite intégrée aux ressources de la fiche data.gouv.fr. Le titre du lien est automatiquement le nom de la couche de service.

Ressources de la fiche data.gouv.fr

 

Identifier les jeux de données invalides

 

En ajoutant l'argument "/debug-page" dans l'url DCAT, un rapport HTML est généré indiquant les jeux de données valides et les jeux de données invalides. Concernant ces derniers, un message identifiant la raison pour laquelle le jeu est invalide est affiché. L'invalidité est déterminée si la métadonnée ne contient pas de titre ou de lien de téléchargement valable. Un avertissement est également affiché si la métadonnée ne contient pas de licence libre. 

Rapport HTML indiquant les jeux de données valides et les jeux de données invalides