- En 2016, le gouvernement britannique a demandé à l’Ordnance Survey (OS) de tester s’il était possible de créer une base nationale d’adresses sans le Postcode Address File (PAF) de Royal Mail ; des documents publiés à la suite d’une demande d’accès à l’information montrent qu’une construction indépendante ne constitue pas vraiment une alternative réaliste
- Le PAF est le jeu de données central des adresses postales physiques au Royaume-Uni, mais avec la privatisation de Royal Mail en 2013, sa propriété et sa gestion sont aussi passées au privé ; l’utiliser sur un site web ou dans une application peut coûter plus de 6 000 £ par an en frais de licence
- OS a reconstitué le PAF à partir du National Address Gazetteer (NAG) et d’OS MasterMap, mais la précision par rapport à AddressBase n’a atteint que 90,8 %, entraînant 2,9 millions d’adresses incorrectes et 4,2 millions d’entrées manquantes ou erronées
- La qualité s’est dégradée dans les lieux présentant des structures multi-adresses, comme les immeubles d’appartements, centres commerciaux, aéroports, maisons identifiées uniquement par un nom ou adresses accessibles par des voies privées ; OS a estimé qu’une vérification manuelle de 4,2 millions d’adresses problématiques serait nécessaire
- Recréer des données d’adresses de même niveau sans le PAF prendrait cinq ans et demi, avec un résultat moins bon ; comme les codes postaux eux-mêmes appartiennent aussi à Royal Mail, l’option réaliste pour disposer de données d’adresses ouvertes consiste plutôt à reprendre le contrôle du PAF et à le rendre public
Pourquoi le PAF est un jeu de données national
- Le Postcode Address File (PAF) est le jeu de données central qui contient toutes les adresses postales physiques du Royaume-Uni
- Il ne s’agit pas de données personnelles, mais d’une base d’adresses, utilisée par exemple pour l’autocomplétion d’une adresse à partir du seul code postal sur les pages de paiement des sites marchands
- Les chercheurs et développeurs doivent pouvoir accéder à des données d’adresses exactes pour créer des outils, services et plateformes
- Aujourd’hui, le PAF doit être licencié auprès de Royal Mail, et utiliser des données d’adresses dans un site web ou une application peut coûter plus de 6 000 £ par an
- Cette structure de coûts constitue une barrière à l’entrée pour les développeurs indépendants et les petites entreprises, et freine aussi la croissance économique
La privatisation de 2013 et la tentative du gouvernement en 2016
- Lors de la privatisation de Royal Mail en 2013, ce ne sont pas seulement les responsabilités de distribution du courrier qui sont passées au privé, mais aussi la propriété et la gestion du PAF
- Dans le dernier budget de George Osborne en 2016, le gouvernement a alloué 5 M£ au développement d’options pour un « registre d’adresses faisant autorité, ouvert et librement utilisable »
- Le document budgétaire de l’époque estimait qu’un usage plus large et des mises à jour plus fréquentes de données d’adresses plus précises pourraient ouvrir des opportunités d’innovation
- Huit ans plus tard, le PAF reste toujours derrière une propriété privée et une forte barrière de coûts
- Les résultats de recherche publiés via une demande d’accès à l’information montrent que le gouvernement a demandé à OS d’étudier s’il était possible de reconstituer le PAF sans propriété intellectuelle de Royal Mail
Comment OS a construit une base d’adresses sans le PAF
- OS est parti du National Address Gazetteer (NAG), l’une des sources que Royal Mail consulte pour constituer le PAF
- Le NAG est composé de données fournies par les collectivités locales, des ministères et l’Ordnance Survey
- Lorsqu’un nouveau bâtiment apparaît, le conseil local soumet les changements au NAG
- Contrairement au PAF, il inclut non seulement des adresses de bâtiments, mais aussi des infrastructures de services publics comme des postes de transformation électrique, des arrêts de bus, des parcs, etc.
- Comme plusieurs organisations le mettent à jour chacune à leur manière, le NAG n’est pas standardisé comme le PAF et ses données sont désordonnées
- OS a appliqué des algorithmes pour distinguer, dans le NAG, les adresses de bâtiments utiles des autres équipements de voirie
- Pour cela, OS a comparé le NAG avec ses données cartographiques graphiques, Master Map
- En analysant les vecteurs et les formes géométriques, l’objectif était de déterminer si une entrée du NAG correspondait à un bâtiment ou à une adresse individuelle, ou à un élément comme un poteau télégraphique ou une boîte aux lettres
- Les adresses qui n’étaient pas clairement identifiées étaient estimées, corrigées par une personne à partir de la carte ou, dans certains cas, vérifiées sur le terrain
- À l’issue du pilote, OS a produit plus de 21 millions d’enregistrements d’adresses complets et 10 millions d’enregistrements partiellement complets, atteignant, en volume pur, un niveau comparable au PAF
Les limites révélées par l’évaluation de la précision
- OS a évalué la qualité de la nouvelle base de données en la comparant à AddressBase
- AddressBase est une base d’adresses distincte appartenant à OS, construite à partir du NAG et d’autres sources
- La différence importante est qu’AddressBase paie Royal Mail et inclut aussi des données sous licence du PAF
- Comparé à AddressBase, le nouveau jeu de données n’a atteint que 90,8 % de précision
- Cela se traduit par 2,9 millions d’adresses incorrectes
- Les adresses absentes du nouveau jeu de données ou mal intégrées y atteignent 4,2 millions
- Les cas simples, comme une maison individuelle où un bâtiment correspond à une seule adresse, sont relativement faciles à reproduire
- Le filtrage des éléments inutiles, comme les infrastructures de services publics, est lui aussi relativement simple
- Dès que la structure des adresses se complexifie un peu, les erreurs augmentent
- Les immeubles d’appartements, où un même bâtiment contient plusieurs adresses
- Les grands centres commerciaux ou aéroports, qui apparaissent sur la carte comme un seul bâtiment ou une seule adresse, mais contiennent en réalité des centaines d’adresses de boutiques et d’entreprises
- Les maisons accessibles par une voie privée partagée
- Les maisons sans numéro, identifiées uniquement par un nom
Corrections manuelles et problème de calendrier
- OS a conclu que, pour qu’une base de données sans le PAF soit réellement utile, il faudrait vérifier manuellement 4,2 millions d’adresses problématiques
- Sans cette étape, plus d’une adresse sur dix serait manquante ou erronée, ce qui nuirait gravement à la confiance dans le produit
- Les organisations pour lesquelles la précision est critique, comme les services d’urgence, pourraient être particulièrement affectées par ces problèmes de qualité
- Même si le gouvernement poursuivait la création d’une nouvelle base de données sans le PAF, il faudrait cinq ans et demi pour atteindre un niveau exploitable
- Les coûts ont été masqués dans la réponse à la demande d’accès à l’information et n’ont pas été publiés
Un périmètre d’approche étroit
- Cette étude n’a pas pleinement examiné les opportunités positives que pourrait créer l’ouverture du PAF, comme la créativité et l’innovation
- OS n’a pas inclus de données d’adresses de tiers dans le nouveau jeu de données sans le PAF
- Une alternative possible aurait pu consister à acheter des millions d’adresses auprès d’entreprises comme Experian et à les combiner
- Le gouvernement aurait aussi pu collecter les adresses soumises lors du renouvellement de permis de conduire ou des déclarations fiscales auprès de HMRC, puis les intégrer au nouveau jeu de données d’adresses
- La qualité des données d’adresses dépend non seulement de leur exhaustivité, mais aussi de la fréquence des mises à jour, de la rapidité de correction des erreurs et de la précision pour certaines catégories d’adresses
Pourquoi l’ouverture du PAF est la conclusion réaliste
- Les résultats de l’étude montrent qu’il est très difficile de reproduire le PAF sans utiliser les données de Royal Mail
- Une reconstruction sans le PAF serait coûteuse, longue, et aboutirait globalement à un moins bon produit
- Les codes postaux appartiennent à Royal Mail et ne peuvent pas être inclus dans un nouveau jeu de données, ce qui rendrait ces données inutilisables pour de nombreux cas d’usage potentiels
- Pour bénéficier des avantages de données d’adresses ouvertes, le gouvernement doit reprendre à Royal Mail le contrôle de ce jeu de données national essentiel
- Rendre le Postcode Address File disponible en open data reste la voie réaliste pour favoriser la croissance et l’innovation
1 commentaires
Commentaires sur Hacker News
De l’autre côté de la Manche, le gouvernement français a créé la BAN (Base Adresse Nationale), qui contient les adresses postales détaillées en France ainsi que leurs coordonnées précises : https://adresse.data.gouv.fr/base-adresse-nationale
Sur cette base de données, il fournit une interface de consultation, une interface permettant aux collectivités locales de maintenir les données à jour, ainsi qu’une API gratuite pour la recherche d’adresses et le géocodage/géocodage inverse (https://adresse.data.gouv.fr/api-doc/adresse) ; les données peuvent être téléchargées sous licence ouverte.
L’alimentation de la BAN est imposée par la loi : chaque collectivité locale doit créer et téléverser sa Base Adresse Locale.
Les données sources provenaient de plusieurs sources, dont La Poste, l’équivalent français de Royal Mail, et OpenStreetMap.
Le problème est que ce numéro correspond à au moins 7 structures, dont 5 sont des immeubles d’habitation.
Chacun de ces 5 immeubles est divisé en plusieurs cages d’escalier avec des entrées indépendantes, sans passage entre elles ; en pratique, elles fonctionnent comme des bâtiments distincts.
Mon immeuble a 8 étages, avec 2 logements par étage, mais il n’y a ni numéro ni lettre de porte ; il faut donc expliquer aux visiteurs « porte de droite au Nᵉ étage », et je ne pouvais même pas recevoir de courrier tant que je n’avais pas apposé mon nom sur la boîte aux lettres au rez-de-chaussée.
À mon avis, ce type d’information ne figure pas dans la BAN.
De plus, dans OpenStreetMap, les coordonnées du numéro de rue issues de la BAN pointent vers un îlot central sur la route, face à l’entrée d’une propriété privée, alors qu’il n’y a pas une seule entrée réelle.
Pour compléter les réponses ci-dessous, je ne mets pas en cause le système de coordonnées lui-même, mais les hypothèses sur la manière dont il a été calculé.
Un fournisseur de services publics que je connais est coincé avec une solution sur mesure de modélisation de réseau officiellement arrêtée en 2014 ; l’ancien outil d’import d’adresses est cassé, et trois employés à temps plein créent et suppriment manuellement des adresses.
Comme le souligne l’article, c’est une erreur incroyablement stupide commise lors de la privatisation de Royal Mail. À l’époque, cela aurait pu être réglé très facilement ; aujourd’hui, c’est beaucoup plus difficile.
Même si le gouvernement voulait le faire maintenant, il ne pourrait pas simplement faire adopter une loi disant « le PAF est désormais gratuit » sans verser des centaines de millions de livres d’indemnisation à Royal Mail.
Il y a aussi le coût distinct de maintenance des données, un sujet difficile à défendre en période de coupes budgétaires.
Par exemple, si un bailleur ne déclare pas, pour diverses raisons, la transformation d’un logement en habitation à occupation multiple, les résidents peuvent avoir des problèmes pour recevoir leur courrier.
En cas de problème d’adresse, il faut d’abord vérifier auprès du conseil local, ce qui s’accorde plutôt bien avec une approche centralisée.
Le gouvernement a dépensé 5 millions de livres rien que pour une étude concluant qu’il était impossible de reconstituer le PAF ; à ce compte-là, quelques centaines de millions de livres ressemblent plutôt à une bonne affaire.
La conclusion de l’étude est qu’il est vraiment difficile de créer une base de données exacte. L’OS a conclu que, pour transformer une base de données sans PAF en un jeu de données réellement utilisable, il faudrait vérifier manuellement 4,2 millions d’adresses erronées.
Le secret de la réussite de Royal Mail avec le PAF, et la raison pour laquelle Royal Mail est la seule à pouvoir le maintenir, c’est que ses employés marchent et conduisent jusqu’à tous ces points de distribution six jours par semaine.
On peut comparer cela au cas où des contributeurs d’OpenStreetMap ont fait une demande d’accès à l’information à Royal Mail sur l’emplacement des boîtes aux lettres, demande finalement refusée au motif que ces informations ne sont gérées que par les centres de tri locaux.
C’est un vieux combat. Ceux qui ont de la mémoire se souviendront peut-être du conflit, il y a 15 ans, autour d’ernestmarples.com, créé par un petit groupe de développeurs activistes pour offrir un accès gratuit aux données de codes postaux
Le site tirait son nom de l’inventeur du système moderne de codes postaux britanniques et, sans surprise, il a rapidement fermé après des menaces de poursuites de Royal Mail
https://www.theguardian.com/technology/2009/oct/05/ernest-ma...
https://blog.okfn.org/2009/10/05/ernest-marples-uk-postcode-...
Donc, pour quelqu’un qui veut simplement savoir qu’AB10 1JL correspond à une zone autour de 57.14677,-2.09873, les données existent déjà
Le PAF est une source de données plus détaillée et, comme on le voit sur https://www.royalmail.com/find-a-postcode, il indique quelles adresses précises AB10 1JL contient, par exemple 102-104 Union Street, Aberdeen, 82 Union Street, Timpson Shoe Repairs Ltd, Smart Mobile, etc.
Le PAF est utile pour proposer une option de saisie rapide d’adresse sur un site web ou pour valider des données d’adresse
Si l’on veut simplement convertir un code postal en position, cette information est déjà publique
La solution simple, ici, serait que le gouvernement mette la pression sur Royal Mail
Il pourrait dire que, si le fichier des codes postaux n’est pas remis gratuitement, il créera un nouveau système de numérotation, enverra à chaque foyer une carte d’adresse avec son nouveau numéro avec le prochain avis de taxe locale, et rendra les codes postaux obsolètes
Le nouveau système pourrait être unique pour chaque logement et inclure aussi un chiffre de contrôle, de sorte que le seul numéro suffise à des logisticiens tiers comme Amazon pour effectuer des livraisons
Quand je veux trouver un code postal, je vais le chercher sur la carte des demandes de permis d’urbanisme
Je n’ai pas vérifié pour l’Angleterre, mais en Écosse c’est clairement le cas ; par exemple, voici une entrée arbitraire pour la cathédrale St Mungo de Glasgow : https://publicaccess.glasgow.gov.uk/online-applications/case...
Par exemple : division de parcelle, fusion de parcelles, deux maisons sur une même parcelle, immeuble d’appartements, démolition d’une maison remplacée par des appartements, etc.
Je travaille dans l’industrie manufacturière et cela ressemble beaucoup au problème des références de pièces ; ce n’est absolument pas trivial, et l’entreprise où je travaille l’a mal géré après avoir cru que ça l’était
Aux Pays-Bas, par comparaison, toutes les données de codes postaux sont des données publiques, avec aussi les contours détaillés des bâtiments et presque toutes les informations associées
La plupart des jeux de données sont consultables sur https://app.pdok.nl/viewer
Un exemple que je rencontre souvent : Google Maps trouve mon adresse (ville, nom de rue, numéro), puis essaie de la reconvertir en code postal
Cela semble plausible, mais ça casse dès qu’on sait que les polygones de codes postaux peuvent se chevaucher
Dans mon immeuble, il y a à peu près un code postal par étage ; quand je saisis mon adresse sur un site qui utilise l’API de Google, il « renseigne gentiment » ou « corrige » automatiquement mon code postal de 1234AB en 1234AZ
Comme tous les codes postaux partagent les mêmes coordonnées, il en choisit en fait un arbitrairement
C’est une très mauvaise situation, car la combinaison code postal + numéro de rue est censée identifier de manière unique une boîte aux lettres ; j’ai simplement eu de la chance que les numéros de rue ne soient pas réutilisés dans l’ensemble des codes postaux de mon immeuble
Le Royaume-Uni peut au moins avancer l’excuse que son système de codes postaux a 60 ans, donc qu’il traîne forcément des résidus de legacy
L’Irlande, en revanche, a introduit Éircode il y a moins de dix ans et a choisi un format opaque, où l’accès à la base centrale est payant et où toute consultation au-delà de petits volumes est facturée
Comme il ne couvre que les habitations, on ne peut pas non plus donner d’eircode à un parc ou à un sentier
C’est exactement ce qu’on peut attendre d’un système conçu par un gouvernement moderne
Ce sont plutôt des entreprises comme IBM qui semblent capables de concevoir ce genre de fiasco total qu’on voit dans les grands projets
Ce qui manque, ce sont les adresses réelles contenues dans un code postal
Pour ceux qui ne sont pas au Royaume-Uni, un code postal britannique ne désigne pas, par exemple, une ville ou un quartier, mais se réduit grosso modo à 1 à 15 bâtiments
En pratique, il s’agit généralement plutôt de groupes d’adresses proches les unes des autres, et il faut souvent connaître le secteur concerné, ce qui est assez amusant
[0] https://club.ministryoftesting.com/t/what-are-fun-postcodes-...
La majeure partie de notre rue correspond à un seul code postal. Autrefois, c’était une rue de maisons individuelles, donc sans doute 30 à 40 foyers, mais comme c’est une banlieue urbaine, la densité a augmenté : certaines maisons ont été divisées en appartements, et une grande maison individuelle a parfois été transformée en six petits logements
Certaines ont été rachetées puis démolies, et remplacées par des bâtiments qui ne détonnent pas extérieurement mais n’ont plus rien à voir avec l’ancien
Là où j’habite, c’est un immeuble résidentiel dédié de quatre étages, mais conçu pour ressembler de l’extérieur à une grande maison ; le rez-de-chaussée est plus bas que la route, et en façade du dernier étage il n’y a que des fenêtres qui ressemblent à celles d’un aménagement de combles
Malgré tout, c’est toujours un seul code postal, donc nous partageons probablement le même code avec plus de 100 foyers
Le recodage serait source de confusion et n’aurait pas beaucoup de valeur, donc on ne le fait généralement pas
Dans la distribution réelle du courrier, le code postal n’est qu’un élément de confort lisible par l’humain dans l’adresse, et une machine, parfois avec l’aide d’un humain, transforme une adresse arbitraire en un code de destination unique, puis l’imprime sous forme de code-barres sur le courrier
Pour Royal Mail, ce n’est donc pas un gros problème si les codes postaux sont moins descriptifs qu’il y a 50 ans
Si vous regardez quelques jours de courrier reçu, vous verrez que deux codes-barres orange fluorescent ont été imprimés au jet d’encre pendant le tri
Le code du haut ressemble plutôt à un identifiant unique temporaire, attribué à chaque courrier dans le système de tri ; une fois épuisé, il recommence, ce qui aide au débogage et aux statistiques
Le code du bas est, en un sens, le successeur du code postal : il est identique pour tous les objets distribués à la même adresse et distinct de ceux des autres adresses
En pratique, il encode le Delivery Point géré par le PAF, c’est-à-dire le point où le personnel de Royal Mail livre le courrier : https://en.wikipedia.org/wiki/RM4SCC
Comme Royal Mail utilise ce « vrai » code postal, elle peut plus facilement accepter des demandes irréalistes de codes postaux « de prestige »
Si les riches de Dirt Town veulent le code postal du chic Upper Niceton voisin, Royal Mail peut l’autoriser, car les équipes opérationnelles travaillent avec des codes purement numériques et traitent donc toujours ces maisons « Upper Niceton » comme situées à leur emplacement réel, Dirt Town
Il doit bien exister quelque part un « mensonges que les programmeurs croient à propos des adresses »
Pour avoir été locataire d’un logement neuf au Royaume-Uni, l’important n’est pas seulement le fichier, mais aussi le chemin pour corriger le fichier
Pendant près d’un an, j’ai dû saisir mon adresse manuellement, parce que les bases de données de codes postaux, ou les vieilles versions détenues par pets.com, cameras.com et looroll.com, n’arrivaient jamais à rattraper la réalité de mon bungalow construit en dent creuse
J’étais le fichu 8A, pas le fichu 8. Merci à la dame du numéro 8 qui a réceptionné mes colis pendant ces sombres mois
C’est un peu comme tzdata. C’est une ressource précieuse non seulement parce qu’elle rassemble l’historique des réglages d’horloge géopolitiques, mais aussi parce qu’elle est tenue à jour soigneusement, à temps et dans les limites du budget
Libérer PAF.v2024_08finalfinal_v3_final.doc, c’est bien, mais qui le maintiendra ensuite à jour ?
Ce n’est pas du cynisme, juste du réalisme. Le texte original a raison. Nous ne pouvons pas gagner par la concurrence, reproduire ni faire fuiter une version suffisamment bonne du PAF ; il faut ramener le PAF et toute son infrastructure dans le domaine public aussi vite que possible, et être prêts à assumer aussi le coût de ses mises à jour
À la mauvaise époque, il y a dix ans, nous le recevions sur CD d’une grande agence de crédit bien connue
Ensuite, nous sommes passés à des mises à jour « automatiques » d’une installation interne via un logiciel médiocre et bourré de bugs, mais ce logiciel se bloquait dès qu’on le quittait des yeux, donc ce n’était pas une grande amélioration
Aujourd’hui, nous payons une entreprise totalement différente et bien meilleure pour y accéder via un service web
Je pense désormais que la vitesse à laquelle les mises à jour arrivent jusqu’au site web est, en gros, au moins celle du cycle de publication du PAF
Si cela n’a pas changé récemment, le PAF n’est pas produit directement par Royal Mail, mais externalisé à une entreprise appelée AFD, basée sur l’île de Man
Mon seul reproche au service actuel est que son rapport coût/valeur n’est pas fameux. Notre coût total est en moyenne d’environ 30 pence par recherche d’adresse, alors que dans notre activité il est très probable que ces adresses ne soient presque jamais réellement utilisées
L’Eircode irlandais repose lui aussi, fondamentalement, sur la même structure. Il a été créé à l’origine comme un jeu de données privé et propriétaire, et aujourd’hui, pour l’utiliser, il faut obtenir une licence d’accès.
L’Eircode est meilleur qu’un code postal dans la mesure où il y en a un pour chaque bâtiment/adresse/appartement, mais il n’est pas séquentiel, si bien que des bâtiments voisins peuvent avoir des eircodes complètement différents.
L’article souligne les difficultés posées par les centres commerciaux et les immeubles d’appartements ; d’après mon expérience sur un projet où il fallait valider en masse des paires Eircode-adresse, c’est clairement un problème.
Le problème encore plus grave, c’est qu’il n’existe aucun moyen d’envoyer quelqu’un vérifier sur place. Un eircode n’est pas quelque chose d’affiché quelque part, comme un numéro de maison.
Une adresse irlandaise valide peut très bien ne comporter aucun numéro en dehors de l’eircode, sans parler du fait que l’eircode lui-même est un ajout récent et non traditionnel.
Les National Emergency Operations Centres (NEOCs) du HSE National Ambulance Service (NAS) disposent d’un package SIG qui interprète en temps réel les Eircodes ainsi que les adresses traditionnelles et usuelles pour les faire correspondre à des bâtiments et à leurs entrées, et c’est assez impressionnant.
Les itinéraires peuvent être transmis en temps réel aux ambulances et à d’autres moyens d’intervention, ce qui a fortement réduit, depuis 2016, les retards de services cliniques dus à des confusions d’adresse.
Donc l’État sait le faire. L’Eircode est un choix que nous avons fait en tant que pays, pas une solution imposée par des limites techniques.