La fondation Overture Maps publie le premier jeu de données cartographiques ouvert à l’échelle mondiale
(overturemaps.org)- Première publication officielle d’un jeu de données cartographiques ouvert de qualité industrielle composé de 4 couches clés, offrant à tous des données de cartographie mondiales librement exploitables
- La couche Places of Interest (POI) inclut plus de 59 millions de lieux dans le monde, posant les bases des services géolocalisés comme la navigation et la recherche locale
- Structure multicouche intégrant Buildings, Transportation et Administrative Boundaries, couvrant aussi bien les bâtiments que les réseaux routiers et les limites administratives
- Toutes les couches sont formatées selon le schéma de données Overture Maps, afin de prendre en charge la collecte et l’usage selon un standard interopérable
- Un tournant qui répond, via un modèle collaboratif de bien commun, aux coûts de collecte et de maintenance des données cartographiques mondiales, devenus trop lourds pour une seule organisation
Aperçu de la publication
- L’Overture Maps Foundation (OMF) publie son premier jeu de données cartographiques ouvert dans la version Overture 2023-07-26-alpha.0
- Composé de 4 couches de données distinctes : Places of Interest (POIs), Buildings, Transportation Network et Administrative Boundaries
- Chaque couche combine diverses sources de données cartographiques ouvertes, puis passe par une série de contrôles qualité pour validation et fusion (conflation)
- Publication selon le schéma de données Overture Maps dévoilé en juin 2023
- Le jeu de données Places contient plus de 59 millions de lieux dans le monde et constitue une base pour la navigation, la recherche locale et divers types d’applications géolocalisées
- Le jeu de données peut être téléchargé depuis la page download
Composition de la fondation et contexte
- Fondée en décembre 2022 par AWS, Meta, Microsoft et TomTom
- Plus d’une dizaine d’entreprises du mapping, du géospatial et de la tech participent désormais, avec l’arrivée de nouveaux membres comme ESRI, Cyient, InfraMappa, Nomoko, Precisely, PTV Group, SafeGraph, Sanborn et Sparkgeo
- Repose sur l’idée que les données cartographiques doivent être un bien commun au service des applications du futur
- Alors que les exigences en matière de précision, d’actualité et de traçabilité des cartes augmentent, le coût et la complexité de la collecte et de la maintenance de données cartographiques mondiales dépassent les capacités d’une seule organisation
Détail des couches de données
-
Places of Interest
- Inclut plus de 59 millions d’enregistrements de POI qui n’avaient encore jamais été publiés en open data
- Dérivés de données apportées à l’OMF par les membres fondateurs Meta et Microsoft, ils fournissent une base de référence pour les données de lieux à l’échelle mondiale
- À l’avenir, les données seront continuellement améliorées, mises à jour et enrichies en combinant les ressources disponibles, comme les données publiques ouvertes, les données locales de cartographie participative et les techniques d’IA/ML
- Sous licence CDLA Permissive v2.0, utilisable librement par les cartographes et les fournisseurs de services de localisation
-
Buildings
- Inclut plus de 780 millions d’empreintes de bâtiments (footprints) uniques dans le monde
- Développé en combinant plusieurs projets de données ouvertes, dont OpenStreetMap, les empreintes de bâtiments générées par l’IA de Microsoft et Esri
-
Transportation
- Représentation du réseau routier mondial dérivée des données OpenStreetMap
- Les données construites par la communauté ont été restructurées au format Overture, avec une segmentation cohérente et un système de référence linéaire (linear reference system)
- Prend aussi en charge l’ajout de données comme les limitations de vitesse ou le trafic en temps réel
-
Administrative Boundaries
- Jeu de données ouvert mondial des limites administratives nationales et régionales
- Les noms de régions sont traduits dans plus de 40 langues, pour faciliter les usages internationaux
Schéma de données et interopérabilité
- Toutes les couches sont formatées selon le récent schéma de données OMF
- Conçu pour permettre aux développeurs de services cartographiques de collecter et d’utiliser les données de manière standardisée et documentée, avec interopérabilité
Objectif de la publication et feuille de route
- La publication ouverte des données vise à recueillir les retours du public ; les retours peuvent être soumis via GitHub ou par e-mail
- De nouvelles sources de données ouvertes seront intégrées dans les prochaines publications
- Chaque couche sera convertie davantage vers le schéma OMF
- Mise en place prévue du Global Entity Reference System, un système d’identifiants stable permettant d’ajouter des données de manière cohérente aux entités cartographiques
1 commentaires
Avis sur Hacker News
Overture Maps est un projet porté par de grands acteurs du géospatial — TomTom, Amazon, Microsoft, etc., mais pas Google — qui vise à exploiter des jeux de données ouverts comme OpenStreetMap, en les combinant avec leurs propres données propriétaires et leurs méthodes de traitement internes.
Il s’agit d’un consortium qui enrichit des données géospatiales issues de données ouvertes au moyen de processus propriétaires propres à chacun, puis redistribue le résultat sous la Community Database License Agreement - CDLAv2, relativement permissive, tout en gardant privés les données sources et les processus nécessaires à la création de ce jeu de données.
La communauté OpenStreetMap en débat beaucoup, mais, dans l’ensemble, l’arrivée d’autant de ressources dans l’écosystème proche d’OSM est vue positivement.
Qu’il s’agisse de modifications faites par des contractuels mal payés ou d’imports massifs de contenus extraits d’images satellite par IA, cela a posé problème.
Je pensais qu’OSM était licencié de telle façon que, si on le combine avec d’autres données, l’ensemble doit être publié sous la même licence.
Par exemple, dans une analyse de l’accès aux soins fondée sur des données géospatiales sur laquelle je travaille actuellement, si l’on pouvait considérer que la couche places est une source assez fiable pour la localisation des prestataires de santé, ce serait extrêmement précieux.
Relier à la fois les données CMS et les données des plans d’assurance santé, puis géocoder le tout avec le géocodeur OSM Tiger, demande beaucoup de travail ; disposer de données déjà nettoyées aiderait énormément.
Si vous cherchez une carte du type Google Maps, je recommande vivement Protomaps https://protomaps.com/
Toutes les données cartographiques sont contenues dans un fichier unique au format PMTile, et l’on peut récupérer les données vectorielles nécessaires à une zone/un niveau de zoom donné au moyen de requêtes de plage sur ce fichier.
Par exemple, on peut placer
myfile.pmtilessur S3, faire en sorte qu’une Lambda reçoive x/y/z dans le chemin et demande la bonne plage, puis laisser CloudFront mettre en cache les réponses de tuiles.Ensuite, il suffit d’utiliser
tiles.mydomain.comou directement le domaine CloudFront, et côté frontend de récupérer les tuiles avec quelque chose comme Leaflet pour les rendre.Dans Leaflet, on utilise le plugin/la bibliothèque protomaps et on lui passe une URL comme
"[https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt](<https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt>;)", où20230408correspond à20230408.pmtilesdans le bucket S3.On peut ajouter un nouveau fichier pmtiles dans le bucket et mettre à jour le client pour qu’il utilise la nouvelle source ; autre avantage, les tuiles étant au format vectoriel, on peut appliquer côté client le thème que l’on veut.
Il n’est pas obligatoire d’utiliser le jeu de tuiles mondial de plus de 100 Go ; le même développeur fournit aussi des outils pour télécharger seulement une zone géographique précise https://app.protomaps.com/downloads/small_map
Le fichier
.pmtilesfait un peu plus de 100 Go, mais toute la configuration tournait en une ou deux heures tout au plus, et les coûts d’exploitation devraient être bien inférieurs à ceux de Google Maps.Elle semble s’arrêter à un niveau de zoom arbitraire, ce qui omet des détails qui m’intéresseraient pour évaluer cette solution.
En fouillant le dépôt GitHub, on trouve https://protomaps.github.io/PMTiles/?url=https%3A%2F%2Fr2-pu..., qui n’est pas au niveau d’un remplacement complet de Google Maps, mais qui est au moins plus détaillé.
Je me demande s’il existe un moyen simple d’utiliser des cartes MVT pour générer des tuiles à la volée, avec un backend CGI et du caching, puis de les rendre avec Leaflet.
J’ai un petit projet personnel de moteur de rendu de cartes fait avec Leaflet ; pour l’instant, j’utilise trois sources de tuiles — Google, OSM et Esri — mais ce serait bien d’en avoir davantage.
« Frontières administratives : un jeu de données public mondial des frontières administratives nationales et régionales, incluant des noms de régions traduits dans plus de 40 langues afin de prendre en charge les usages internationaux » : ça pourrait devenir intéressant.
Si je me souviens bien, pour éviter les controverses, Google Maps modifiait l’affichage des frontières selon le point de vue du lieu depuis lequel la carte était demandée.
Dans de nombreux pays, ne pas afficher les frontières « correctement » est un crime.
Source associée : https://qz.com/224821/see-how-borders-change-on-google-maps-...
Si vous n’avez pas des millions d’utilisateurs, il est probable que même dans ces pays, personne ne s’en soucie.
C’est bien de fournir les données, mais quand on essaie vraiment de les récupérer, on dirait qu’elles ont été rendues aussi compliquées que possible
Il faudrait les importer avec DuckDB ; je ne comprends pas pourquoi ils ne prennent pas simplement en charge un fichier dump MySQL
Je ne vois pas pourquoi l’utilisateur devrait avoir DuckDB, ni si DuckDB est vraiment si répandu
Le lien fourni ne fonctionne pas non plus, donc rien ne semble réellement utilisable, et je ne comprends pas comment on est censé s’en servir
En plus, ils exigent aussi Amazon S3, ainsi qu’une sorte de langage de requête non standard pour y accéder, ce que je ne comprends pas
Je ne dois pas être le seul, et l’approche actuelle devrait être plus universelle
Si AWS ou Azure le voulaient, rien ne les empêcherait d’ouvrir
s3:Getets3:Listsur le bucket concerné afin de permettre une lecture sans authentificationEn tant que contributeur à AllThePlaces, ce sujet m’intéresse https://www.alltheplaces.xyz/
AllThePlaces est un projet open source qui rassemble des spiders Scrapy pour crawler les sites web de franchises et de chaînes de distribution susceptibles de figurer dans name-suggestion-index, et les données de localisation sont collectées sous licence CC-0 http://nsi.guide/
Il collecte un peu moins de 3 millions de points d’intérêt à partir de près de 1 700 spiders
Overture Maps semble être un projet assez fermé et propriétaire, dont l’ouverture paraît se limiter à l’affirmation qu’on peut télécharger le jeu de données et les spécifications du schéma
D’abord, il n’existe pas d’explication publique sur la façon dont les données ont été produites, ce qui rend difficile pour l’utilisateur final d’obtenir des garanties d’exactitude et d’exhaustivité
Les limites administratives sont terriblement complexes, avec des frontières contestées, une ambiguïté importante dans la définition des limites, et des compromis entre les performances des algorithmes qui utilisent ces données de limites administratives et la précision des frontières
On ne sait pas quelles définitions des frontières Overture Maps suit, ni s’il peut en prendre plusieurs en charge
Il est possible que Microsoft ait fourni des informations géographiques
ld+json/microdonnées issues du crawl d’Internet par BingBot, mais ces données sont notoirement inexactes : champs mélangés ou réutilisés à tort, pages web qui restent en ligne même lorsqu’un champ contient « CLOSED » dans son nom pour indiquer une fermeture datant de cinq ans, spécifications d’horaires d’ouverture très ambiguës, etc.Dans AllThePlaces, beaucoup de spiders nécessitent un jugement humain assez complexe pour assembler les données désordonnées publiées sur les sites web par des organisations comme des chaînes de magasins ou de restaurants
Même pour des informations de localisation qui peuvent nécessiter une exactitude et une précision de ±1 à 5 m, comme des boutiques individuelles dans un centre commercial, les sources faisant autorité fournissent généralement des données avec une précision au millimètre et une exactitude de ±10 à 100 m
AllThePlaces, Overture Maps, Google Maps et autres ont toujours besoin d’éditeurs humains qui font du relevé de terrain — c’est-à-dire des contributeurs OpenStreetMap — pour positionner précisément les lieux et standardiser leurs définitions
Il faut aussi définir si la position ponctuelle doit être vue comme le centre du plus grand polygone régulier pouvant tenir dans tout le polygone irrégulier, comme le centre de masse d’une plaque plane, ou comme l’emplacement de l’entrée principale
Si Overture Maps s’appuie sur BingBot pour les données de lieux, il manquera un nombre énorme de points d’intérêt que BingBot ne trouvera jamais
Par exemple, il faut parfois des appels à des API REST/JSON/GraphQL non documentées, ou modifier les paramètres d’appels observés vers des API de recherche de magasins, pour obtenir toutes les localisations et les champs associés
Les développeurs web font souvent des choses stupides, comme indiquer dans
robots.txtde crawler plus de 10 000 pages totalisant plus de 1 Go depuis un sitemap mis à jour il y a cinq ans, tout en bloquant dix appels API rapides permettant d’obtenir 5 Mo de données à jourComme les données d’AllThePlaces sont en CC-0, Overture Maps peut les utiliser librement et les croiser avec d’autres sources, comme les données de crawl de BingBot, des bases gouvernementales d’établissements commerciaux autorisés, ou des données de géocodage d’adresses postales
Mais le désordre des données provenant de multiples sources approchera un niveau où même un humain peut difficilement faire les correspondances correctement, et Overture Maps devra peut-être choisir entre accepter les doublons et renoncer à l’exhaustivité
Il n’existe pas non plus d’outils publics permettant à d’autres de reproduire les mêmes données
Les utilisateurs d’AllThePlaces se heurtent souvent à des tiers qui cassent Internet, comme Cloudflare et Imperva, à du géoblocage personnalisé et, plus rarement, à des mécanismes de limitation de requêtes excessifs
Si Overture Maps s’appuie sur le crawl de BingBot, il aura un léger avantage sur AllThePlaces, car Cloudflare, Imperva, les pare-feu clients, etc., autorisent intentionnellement BingBot ; mais pour capter autant de points d’intérêt que possible dans le monde, il faut de plus en plus des plages d’adresses de FAI résidentiels et des logiciels d’évitement de détection de bots
Il faut des personnes dans des dizaines de pays, et crawler les sites web ciblant chaque pays depuis l’espace d’adressage de FAI résidentiels de ce pays
Sinon, on se retrouve avec une vision américaine du monde, une vision européenne du monde, ou quelque chose d’autre qui n’est pas la vue d’ensemble
Si Overture Maps a des emplacements erronés pour certaines franchises/marques à cause de problèmes de nettoyage des données, de mauvaises sources, voire de sources non autoritatives, ces franchises/marques ne disposent d’aucun dépôt logiciel où ouvrir une issue ou soumettre un patch
Exemple de centre commercial australien capturé par AllThePlaces : https://www.alltheplaces.xyz/map/#18.07/-33.834646/150.98952...
Overture a été créé pour permettre à des entreprises privées d’utiliser des données ouvertes comme OpenStreetMap tout en les combinant avec leurs propres données et processus propriétaires
L’intention est de partager le résultat sous une nouvelle licence relativement permissive, la Community Database License Agreement, tout en gardant les processus et les données sous-jacentes propriétaires
Il y a aussi ici un habillage manifestement promotionnel
Ils semblent présenter ces cartes comme un appui « fiable » ou « officiel », et vouloir les utiliser comme base de décision pour des activités fondées sur des données ayant de la valeur — même si ce n’est pas pour le commerce, la sécurité, les demandes d’indemnisation ou la sûreté
Je me demande quels recours le public ou le contrôle public peuvent avoir dans ce contexte
Le dépôt GitHub est ici : https://github.com/OvertureMaps/data
La licence semble très permissive, et même si je ne connais pas bien l’état actuel de l’écosystème des cartes ouvertes, l’idée de GERS semble aussi intéressante
https://docs.overturemaps.org/gers/
Fait intéressant, deux des quatre couches utilisent l’ODbL
On ne voit pas clairement comment Overture pourrait blanchir la licence des données OSM ici
Il est indiqué : « Transport : la couche transport d’OMF représente un réseau routier mondial dérivé des données du projet OpenStreetMap. Ces données construites par la communauté sont restructurées au format de données Overture afin de fournir un découpage cohérent des données et un système de référencement linéaire permettant d’ajouter des données comme les limitations de vitesse ou le trafic en temps réel »
L’ODbL d’OSM est très claire sur le fait qu’il faut créditer les contributeurs OSM
J’ai du mal à croire que la CDLA Permissive v2.0 permette comme par magie à Overture de contourner cela
Correction : j’avais manqué le fait que chaque jeu de données utilise une licence différente
Le thème transport est sous ODbL, donc les utilisateurs peu prudents vont très certainement se prendre les pieds dedans
La licence CDLA est permissive : https://cdla.dev/permissive-2-0/
D’après mon interprétation, l’objectif n’est pas d’éviter de créditer OSM, mais plutôt de conserver le crédit et la licence OSM pour les parties issues d’OSM, et de placer le reste sous CDLA 2.0 afin que tout le monde puisse l’utiliser
L’article précise que la licence CDLA s’applique aux données fournies par Meta et Microsoft, pas aux données OSM
C’est dommage que Meta et Microsoft ne contribuent pas leurs propres données à OSM et les publient sous une autre licence, mais c’est comme ça que va le monde
Excellent
J’ai l’impression qu’un jour Google cherchera à tirer encore plus de revenus de Maps qu’aujourd’hui, et ce jour-là ce genre de systèmes cartographiques collaboratifs prendra vraiment de l’ampleur
Ce serait bien d’avoir un moyen de financer l’achat d’images satellite par des gens, puis leur intégration dans ce genre de systèmes
Par exemple, Sunnyvale a payé cher des images de la ville utilisées pour discuter de circulation, de zonage, etc., et ce serait bien de pouvoir verser ce type d’images dans un jeu de données public
Si je me souviens bien, Google utilise aussi dans ses produits des images appartenant à des collectivités locales
Une seule ville n’est peut-être pas une source assez importante pour que Google s’en préoccupe, mais, surtout en Europe, il me semble avoir déjà vu des mentions de copyright de gouvernements nationaux ou régionaux en consultant des images
Cela dit, il existe aujourd’hui beaucoup de sources d’images satellite, donc Google n’est peut-être pas si avide de nouvelles données
Les fournisseurs commerciaux avec lesquels Google travaille photographient probablement l’ensemble des États-Unis continentaux environ une fois tous les 12 mois
Ce qui semble être plus demandé, ce sont les photos aériennes utilisées à des niveaux de zoom très élevés
Je ne suis pas spécialiste du géospatial, mais ce type d’images semble être combiné avec du LIDAR ou des images multispectrales pour produire des cartes d’altitude en plus des visuels, et leur acquisition semble coûter assez cher
Quelle est la différence entre ça et OpenStreetMap ?
Elle couvre toutes sortes de détails, des routes, commerces et rivières aux sites touristiques, itinéraires de randonnée et hôpitaux
Tout le monde peut contribuer et, pour parler en tant que personne assez impliquée dans OSM, si vous voulez ajouter quelque chose à la carte, surtout dans votre quartier, c’est bienvenu
Overture est un nouveau groupe d’entreprises qui diffuse quelques jeux de données sous licence ouverte, mais les méthodes utilisées pour les produire restent propriétaires
Une partie des données publiées leur appartient, et de nombreux jeux de données sont des reconditionnements de données OpenStreetMap
Overture est un projet cartographique centré sur les données, pas une communauté de cartographes individuels, et vise donc à compléter OSM
Il combine OSM avec d’autres sources pour créer de nouveaux jeux de données cartographiques ouverts, et les données Overture sont mises à disposition de la communauté OpenStreetMap sous des licences de données ouvertes compatibles
Les membres d’Overture sont encouragés à contribuer directement à OSM
Près de chez moi, il y a un chemin de gravier qu’utilisent peut-être une vingtaine de personnes par jour ; à cause de travaux à proximité, une partie du chemin a été déplacée de quelques mètres
Dès le lendemain, OSM reflétait déjà cette nouvelle réalité
Quelqu’un a déjà essayé de charger ça dans BigQuery ?
Je sais qu’il y a une ambiance « hué Google », mais je voudrais simplement faire quelques jointures avec d’autres tables que j’ai dans BigQuery
Je me demande s’il existe une sorte de BigQuery communautaire utilisable au lieu de maintenir moi-même l’import