Construire une base de données de géolocalisation IP à partir de zéro

 (ipapi.is)
5 points par GN⁺ 2023-09-15 | 1 commentaires | Partager sur WhatsApp
  • Une base de données de géolocalisation IP associe des plages d’IP à un pays, une ville, un code postal, un fuseau horaire et des coordonnées ; ipapi.is propose des CSV gratuits ainsi que des bases de données CSV/MMDB commerciales
  • La version gratuite ne couvre pas tout l’espace IPv4 et IPv6 et sa précision est moindre, tandis que la version commerciale est la base de données complète utilisée pour le champ location de l’API, avec au moins deux mises à jour par semaine
  • Pour la construire soi-même, il faut combiner les champs geoloc et geofeed de WHOIS, l’inférence de localisation à partir des champs d’adresse et de description WHOIS, ainsi que des projets publics comme RIPE IPmap, geofeed-finder et OpenGeoFeed
  • La précision fluctue lorsque les réseaux sont répartis sur plusieurs régions ou que des IP sont réattribuées ou louées ; en juillet 2023, la couverture geoloc de RIPE NCC était de 2,3 % et celle des URL geofeed d’environ 0,17 %
  • Les données collectées doivent être enrichies et normalisées, par exemple en trouvant les coordonnées à partir d’une ville et d’un pays, ou la ville la plus proche à partir de coordonnées ; ipapi.is utilise les fichiers GeoNames de codes postaux, de villes et d’informations pays

Composition d’une base de données de géolocalisation IP

  • Une IP to Geolocation Database est une base de données qui stocke des informations de géolocalisation par plage d’IP
  • Une adresse IP peut être géolocalisée avec les informations suivantes
    • Pays, ville, État/région, code postal
    • Fuseau horaire
    • Latitude, longitude
  • La base de données ipapi.is se décline en version gratuite et en version commerciale
    • La version gratuite est téléchargeable au format CSV
    • La version commerciale est fournie aux formats CSV et MMDB
    • La version commerciale couvre tout l’espace IPv4 et IPv6
    • La version gratuite ne contient qu’une partie de l’espace IPv4 et IPv6
  • La base de données commerciale est mise à jour au moins deux fois par semaine

Différences entre la version gratuite et la version commerciale

  • La base de données gratuite de géolocalisation IP contient moins d’entrées que la version commerciale et ne couvre pas tout l’espace d’adressage IPv4 et IPv6
  • La version gratuite a une précision de géolocalisation plus faible
  • Les principales sources de la version gratuite sont les données WHOIS et les Geofeeds RFC 8805
  • La base de données commerciale est la base complète utilisée pour le champ location de l’API ipapi.is
  • La version commerciale calcule la localisation en combinant plusieurs sources
    • Enregistrements WHOIS
    • Mesures actives de latence basées sur ping et traceroute
    • Geofeeds RFC 8805
    • Requêtes DNS inversées

Formats de base de données et champ de précision

  • Les fichiers de base de données sont au format CSV ou MMDB
  • Les principaux champs contiennent à la fois la plage d’IP, la localisation, les coordonnées et la précision
    • ip_version : 4 pour IPv4, 6 pour IPv6
    • start_ip, end_ip : IP de début et de fin de la plage réseau
    • continent, country_code, country, state, city, zip
    • timezone, latitude, longitude
    • accuracy
  • accuracy indique la précision estimée des informations de géolocalisation, de 1 à 5
    • 1 : très haute précision, généralement fiable au niveau de la ville
    • 2 : haute précision, généralement fiable au niveau de la ville
    • 3 : précision moyenne, difficilement fiable au niveau de la ville
    • 4 : faible précision, généralement exacte au niveau du pays
    • 5 : très faible précision, censée être exacte au niveau du pays

Vérifier un échantillon MMDB

Usages et limites de la géolocalisation IP

  • La géolocalisation IP est le processus qui consiste à associer une adresse IP à une position géographique définie par une latitude et une longitude
  • Les entreprises et fournisseurs de services en ligne utilisent les informations de géolocalisation à de multiples fins
    • Publicité ciblée
    • Détection et prévention de la fraude
    • Localisation de contenu
    • DRM et conformité réglementaire
    • Sécurité réseau
    • Analytique et insights
  • Il existe des raisons structurelles pour lesquelles la géolocalisation IP n’est pas toujours exacte
    • Les réseaux IPv4 et IPv6 attribués peuvent être répartis géographiquement
    • Certains réseaux, comme les réseaux mobiles ou satellites, sont conçus pour couvrir plusieurs régions
    • Lorsqu’un Regional Internet Registry ou une société de location d’IP réattribue ou réaffecte un réseau IP, sa localisation peut changer
  • La géolocalisation des adresses IP est complexe, mais elle peut fournir une précision difficile à ignorer pour une API d’adresses IP

Travaux nécessaires pour construire la base à partir de zéro

  • Chaque adresse IP sur Internet est détenue ou gérée par une organisation donnée
  • Les Regional Internet Registry (RIR) comme ARIN et APNIC stockent les informations de propriété dans des bases de données WHOIS
  • Les enregistrements WHOIS n’incluent pas toujours les informations de géolocalisation du réseau attribué
  • L’organisation propriétaire du réseau peut utiliser les IP dans le lieu géographique de son choix, les attribuer à des tiers ou louer des blocs d’IP
  • La collecte d’informations de géolocalisation se divise globalement en trois axes
    • Extraction de données de géolocalisation directes comme geoloc et geofeed depuis les enregistrements WHOIS
    • Inférence indirecte de localisation à partir de l’adresse postale, de la description et des informations de pays dans WHOIS
    • Utilisation de projets publics comme RIPE IPmap, geofeed-finder et OpenGeoFeed

Données de géolocalisation directes par RIR

  • RIPE NCC

    • Les objets inetnum et inet6num de RIPE NCC attribuent des réseaux IP à des organisations
    • Les informations de géolocalisation peuvent être fournies via deux attributs, geoloc et geofeed
    • geoloc contient la latitude et la longitude sous forme de chaîne
    • Exemple : 47.855374 12.132041
    • En juillet 2023, la base de données RIPE NCC comptait 4 190 644 objets inetnum et 819 381 objets inet6num
    • Parmi eux, 114 389 objets incluaient l’attribut geoloc, soit une couverture totale de 2,3 %
    • geofeed contient l’URL d’un fichier CSV au format RFC 8805
    • Une URL geofeed peut être enregistrée dans l’attribut dédié geofeed ou sous la forme Geofeed {URL} dans l’attribut remarks
    • En juillet 2023, RIPE NCC comptait 6 643 URL geofeed dans l’attribut remarks et 2 035 enregistrements WHOIS avec l’attribut geofeed
    • La couverture des URL geofeed est de 0,17 %, mais ce chiffre peut être trompeur, car un seul fichier geofeed peut contenir plusieurs réseaux

  • ARIN

    • ARIN fournit des informations de géolocalisation en plaçant l’URL geofeed dans l’attribut Comment de l’objet NetRange
    • Une demande d’ajout d’un attribut geofeed dédié a été faite, mais elle a été rejetée au motif que les attributs Comment ou Remark étaient suffisants
    • Contrairement à RIPE NCC, la base de données ARIN n’utilise pas l’attribut geoloc

  • LACNIC

    • LACNIC prend en charge la géolocalisation plus activement qu’ARIN
    • LACNIC exploite un Geofeed Service permettant à ses membres de fournir des informations de géolocalisation pour les adresses IP qu’ils détiennent
    • Les données publiques sont fournies sur milacnic.lacnic.net/lacnic/geofeeds
    • La base de données WHOIS de LACNIC fournit par défaut des informations de géolocalisation au niveau de la ville
    • La base de données LACNIC peut être téléchargée depuis le serveur FTP ftp.lacnic.net/lacnic/dbase/

  • AFRINIC et APNIC

    • AFRINIC indique ne pas fournir de service de géolocalisation et ne pas avoir de relation officielle ni opérationnelle avec des fournisseurs de géolocalisation
    • AFRINIC prend en charge l’utilisation d’URL geofeed dans l’attribut remarks, de manière similaire à RIPE NCC
    • APNIC prend en charge la géolocalisation à un niveau presque identique à RIPE NCC
      • Attribut geoloc
      • URL geofeed dans l’attribut remarks
    • APNIC semble ouvert à l’amélioration de la prise en charge de la géolocalisation

Méthodes d’inférence de localisation depuis WHOIS

  • L’objectif principal de WHOIS est de fournir les informations d’enregistrement des organisations détentrices de numéros Internet, comme des adresses IP ou des numéros d’AS
  • WHOIS contient souvent l’adresse postale et le pays du siège ou du lieu d’administration de l’organisation
  • Il arrive que l’adresse postale de l’organisation corresponde au lieu d’utilisation de l’adresse IP, mais ce n’est pas toujours le cas
  • L’adresse administrative d’une grande organisation peut ne pas correspondre à la localisation de toutes ses adresses IP

  • Inférence chez RIPE NCC

    • Les attributs exploitables dans les objets inetnum et inet6num de RIPE NCC sont les suivants
      • country : ne fournit qu’une précision au niveau du pays
      • descr : description du réseau pouvant contenir des informations de localisation ou d’adresse
      • netname : difficile à parser et peu fiable
      • address : à proprement parler, attribut de l’objet role, contenant une adresse postale
    • L’attribut country identifie un code pays ISO 3166-2, mais ne précise pas s’il s’agit du siège, d’un datacenter ou de la localisation des utilisateurs finaux
    • L’attribut descr est une description en forme libre, mais il est utile pour l’inférence de géolocalisation lorsque l’organisation y renseigne la localisation du réseau et des informations d’adresse
    • address peut offrir une bonne précision, mais supposer que l’adresse postale de l’objet rôle correspond au lieu d’utilisation de l’adresse IP peut entraîner des erreurs

  • Inférence chez ARIN

    • Chez ARIN, les attributs WHOIS suivants sont relativement fiables pour de petites organisations ou des organisations concentrées sur un seul site
      • Address
      • City
      • StateProv
      • PostalCode
      • Country
    • Des organisations comme les universités, les hôpitaux ou les administrations utilisent parfois les adresses IP de leur objet NetRange au même endroit que leur adresse postale administrative
    • Lorsqu’une grande entreprise ou une organisation nationale possède de nombreux NetRange, l’adresse postale administrative peut ne pas correspondre au lieu réel d’utilisation des IP
    • Dans l’exemple de Google Fiber, utiliser l’adresse WHOIS le place à Mountain View, California, tandis que la plupart des fournisseurs de géolocalisation situent l’IP à San Antonio, au Texas

  • LACNIC, AFRINIC, APNIC

    • LACNIC fournissant la géolocalisation dans sa base WHOIS, aucune inférence séparée n’est nécessaire
    • AFRINIC utilise le même format de base WHOIS que RIPE NCC, les mêmes principes peuvent donc être appliqués
      • country, descr
      • address de l’objet role
    • APNIC utilise également le même format de base WHOIS que RIPE NCC, les mêmes principes s’appliquent donc

Projets publics de géolocalisation

  • RIPE IPmap

    • RIPE IPmap était une API fournissant des données de géolocalisation pour l’infrastructure Internet critique
    • Il ne semble plus être maintenu, et il ne semble pas y avoir eu de nouvelles contributions depuis 2019
    • RIPE IPmap déduit la géolocalisation d’adresses IP au moyen de plusieurs moteurs
    • Les moteurs latency et single-radius utilisent les mesures de RIPE Atlas pour fournir un rayon de latence des adresses IP
    • La mesure du RTT minimal donne une limite supérieure de la distance maximale possible en raison de la vitesse de la lumière dans les supports en fibre optique
    • Le moteur reverse-dns extrait une géolocalisation au niveau de la ville à partir des noms d’hôte des enregistrements PTR
    • La base de données RIPE IPmap peut être téléchargée depuis https://ftp.ripe.net/ripe/ipmap/
    • D’après le site de son ancien mainteneur, la précision et la couverture du projet se sont nettement dégradées

  • geofeed-finder

    • geofeed-finder est un outil open source qui découvre et récupère des fichiers geofeed dans les données WHOIS
    • Cet outil effectue aussi la vérification de propriété des préfixes, la gestion du cache et la validation des codes ISO
    • Il peut extraire des geofeeds depuis les données WHOIS conformément à la RFC 9092
    • La couverture des informations geofeed sur l’ensemble du réseau étant très faible, son utilité pratique reste limitée

  • LACNIC Geofeeds Service et OpenGeoFeed

    • LACNIC Geofeeds Service fournit les informations de géolocalisation d’une part importante des membres de LACNIC
    • Les données sont téléchargeables publiquement depuis milacnic.lacnic.net/lacnic/geofeeds
    • C’est un projet important car il montre qu’il est possible de collecter des informations de géolocalisation au niveau d’un RIR
    • OpenGeoFeed est un projet open source qui rassemble ses propres geofeeds publics conformément à la RFC 9092
    • OpenGeoFeed fournit un fichier unique contenant les fichiers geofeed publics connus : opengeofeed.org/feed/public.csv
    • OpenGeoFeed est prometteur, mais la couverture des geofeeds ne semble pas à jour et les sources de données ont peu de chances d’être souvent mises à jour

Enrichissement et normalisation des données

  • Les données brutes de géolocalisation collectées depuis plusieurs sources peuvent être incomplètes ou incohérentes
  • Il peut y avoir à la fois des enregistrements contenant des informations de pays et de ville sans coordonnées, et des enregistrements contenant des coordonnées sans informations de pays et de ville
  • Si un enregistrement source ne contient que le pays, la précision peut difficilement dépasser le niveau du pays
  • Les données collectées doivent être enrichies et converties dans un format commun
  • L’enrichissement des données s’effectue à l’aide de bases de données géographiques open source
  • L’enrichissement se divise en deux cas
    • Trouver la latitude et la longitude à partir d’un couple ville-pays
    • Trouver la ville et le pays les plus proches à partir de la latitude et de la longitude
  • ipapi.is utilise les bases de données suivantes pour enrichir les informations de géolocalisation

À lire aussi

1 commentaires

 
GN⁺ 2023-09-15
Avis sur Hacker News

  • Je lisais ses articles avec plaisir avant même de rejoindre IPinfo, où nous fournissons un service de données de géolocalisation IP.
    Nous utilisons une méthodologie plus poussée que celle décrite ici, et même si nous exploitons aussi certains jeux de données publics, nos données de localisation centrales proviennent de mesures basées sur le ping.
    Nous envoyons des pings vers des adresses IP depuis plusieurs serveurs dans le monde, puis nous identifions leur position par multilatération. Un ping depuis un seul serveur ne donne qu’une information unidimensionnelle — quelque part dans un certain rayon —, mais en répétant l’opération depuis plusieurs serveurs, la position devient de plus en plus précise.
    Avec suffisamment de mesures, on peut atteindre une précision proche du niveau du code postal ; nous avons actuellement plus de 600 serveurs de détection dans le monde et continuons à en ajouter.
    Les données publiques sont anciennes ou peu souvent mises à jour, généralement pas assez précises pour être utiles, et se limitent souvent à de grandes plages d’IP ou à la localisation d’organisations.
    De plus, les jeux de données publics ne comportent pas de procédure de vérification. Avec l’augmentation des transactions IPv4 et des services VPN, nous avons vu des informations inexactes être injectées ; nous apprécions donc les signalements de corrections de localisation IP, mais nous les vérifions systématiquement.
    D’après notre expérience de l’exploitation d’un réseau de détection, il est beaucoup plus facile et moins cher d’acheter des serveurs à New York que dans n’importe quel pays d’Afrique centrale. L’emplacement d’une adresse IP influe fortement sur la valeur que cette IP peut fournir.
    Nous proposons aussi une base de données IP-to-Country ASN gratuite utilisable pour des projets : https://ipinfo.io/developers/ip-to-country-asn-database

    • Je me demande de quels articles vous êtes fan. Ceux de https://incolumitas.com/, ou ceux de https://ipapi.is/ ?
      L’idée de triangulation par latence est bonne. J’ai utilisé les informations de latence à diverses fins, notamment la détection de VPN et de proxys, mais je n’avais pas imaginé qu’on puisse en tirer une position aussi précise.
      Avec 600 serveurs, la triangulation par latence devrait donner une assez bonne approximation, et c’est impressionnant.
      Quelques points m’intriguent toutefois : comment gérer les ISP qui traitent le trafic ICMP en basse priorité ou en dégradent les performances ; pour géolocaliser tout IPv4, faut-il envoyer en permanence des pings à des milliards d’adresses, ou bien mesurer seulement une IP aléatoire dans chaque inetnum/NetRange alloué ; et comme la plupart des adresses IP ne répondent pas à ICMP, cherchez-vous le routeur en amont de la cible pour en déterminer la position ?
    • Les adresses anycast sont difficiles à « localiser » à partir des temps de réponse ICMP, et certaines sont associées à une localisation logique distincte. On peut en voir un exemple ici : https://blog.cloudflare.com/icloud-private-relay/
    • En tant que fan et client d’IPinfo, j’utilise l’API pour mettre dans les e-mails d’alerte de connexion des phrases comme « Vous venez de vous connecter depuis Berlin, Allemagne. Si ce n’était pas vous, cliquez ici ».
      Nous l’utilisons aussi pour fournir les données de pays dans les journaux d’audit client, ainsi que pour la lutte contre le spam et la détection de fraude.
    • Je me demande si vous avez envisagé de rendre la base de données téléchargeable au format Parquet.
      Cela permettrait de copier le fichier vers S3, Google Cloud, etc., et de l’interroger directement avec plusieurs outils. C’est possible avec CSV, mais ce n’est pas aussi fluide.
    • Je me demandais comment on pouvait déterminer la localisation d’une adresse IP quand il n’existe pas de source d’information préalable ; cette explication correspond exactement à ce que je voulais savoir, c’est donc très intéressant.

  • Si vous ne voulez pas l’implémenter vous-même, vous pouvez laisser Cloudflare le faire gratuitement avec un simple Cloudflare Worker. Toutes les requêtes Cloudflare incluent une information approximative de localisation IP.
    Vous pouvez aussi envoyer une requête à cette URL, qui tourne sur un Cloudflare Worker. La latence devrait être faible partout dans le monde : https://www.edenmaps.net/iplocation
    Pour de petites apps, ça ne pose pas de problème ; évitez simplement de lui envoyer 10 millions de requêtes par jour.

    • Mieux vaut télécharger et utiliser une base de données IP que partager avec un tiers quelles adresses IP ont potentiellement accédé au service.
    • Elle me place à 100 km au large de la Somalie, alors qu’en réalité je suis à Bruxelles, en Belgique. Merci pour la protection de la vie privée :D
    • Je me demande si quelqu’un sait à quel point la géolocalisation Cloudflare dans les requêtes Worker est précise.
    • Excellent. Si possible, je me demande si vous pourriez publier ce code en open source.
    • Je suis à Munich, et Cloudflare pointe vers une forêt arbitraire à 730 km au nord.

  • Comme je vis dans un pays dont la langue nationale n’est pas ma langue maternelle, je déteste vraiment les sites web qui déduisent la langue à partir de la localisation IP et l’imposent.
    Le navigateur envoie un en-tête de langue parfaitement clair, mais ils l’ignorent et choisissent la langue sur la base d’une hypothèse paresseuse.

    • Je travaille dans un service de géolocalisation IP, et je déteste aussi ça.
      Dans le secteur, on appelle ça « personnalisation de l’expérience web », mais c’est une façon agaçante de le faire. Je n’ai jamais recommandé à qui que ce soit de procéder ainsi.
      Si l’on personnalise un site web avec la géolocalisation IP, le mieux est de s’en tenir à des choses comme les taxes, les frais de livraison, ou placer le pays de l’utilisateur en haut d’une liste déroulante de sélection du pays.
      À part ça, presque rien ne me vient à l’esprit. La traduction fonctionne généralement mal et ne fait que gêner. Même si le site part d’une bonne intention, créer une version locale avec Google Translate n’est pas une bonne idée.
    • Je vis aux États-Unis et, sur tous mes appareils, la géolocalisation IP pointe vers des régions incorrectes.
      Rares sont les technologies qui ruinent autant l’expérience Internet quotidienne que ces bases de données.
      J’aimerais qu’elles disparaissent tout simplement.
      Au lieu de se tromper à chaque fois et de cacher le flux de correction derrière plusieurs liens et chargements de pages, les sites pourraient simplement demander le code postal au premier chargement.
      De plus, il n’existe aucun moyen de corriger la base de données pour produire la « bonne » réponse ou une « meilleure » réponse, parce que les sites web veulent rarement utiliser la position actuelle.
      Le plus souvent, on vérifie le stock d’un magasin dans un endroit où l’on va se rendre. Tout ce domaine essaie en quelque sorte de résoudre un problème mal défini.
    • Cette même frustration était si forte que j’ai même écrit un article à ce sujet : https://www.fer.xyz/2021/04/i18n

  • Cela dépend de l’usage et du niveau de précision requis
    La meilleure façon de créer un service de géolocalisation, c’est de disposer de 1 milliard d’appareils qui signalent simultanément leur position et leur IP. En pratique, Apple et Google sont dans cette position
    Comme ils reçoivent des mises à jour continues des IP et des positions, ils disposent des meilleures bases de données de géolocalisation au monde
    Le point clé est de créer une app dans laquelle les gens fournissent volontairement leur position, puis de faire en sorte qu’elle soit utilisée par beaucoup de monde. C’est pour cela qu’aujourd’hui toutes les apps demandent l’autorisation d’accéder à la localisation
    Foursquare allait dans la bonne direction, mais était trop en avance

    • Il y a dix ans déjà, les politiques internes de confidentialité d’Apple empêchaient Apple de collecter des latitudes/longitudes précises
      Il fallait utiliser la télémétrie des sessions HTTP pour déterminer quel endpoint était optimal pour une IP ou un sous-réseau donné, ce qui a permis de construire une base de données interne de type GeoIP, fondée sur les conditions réelles
      Malgré tout, pour des raisons de confidentialité, il fallait la conserver de façon aussi temporaire que possible. Les résultats de géocodage inversé d’Apple Maps ne pouvaient pas être utilisés ni enregistrés en dehors du contexte d’une requête utilisateur en temps réel, comme chercher un restaurant à proximité

  • Dans un registre assez lié, Google Maps peut apprendre l’emplacement d’une IP selon les lieux que l’on explore sur la carte
    Si vous consultez suffisamment souvent un lieu donné, même après avoir supprimé tous les cookies, Google Maps utilisera cet endroit comme position par défaut à l’ouverture
    Je l’ai remarqué en utilisant Google Maps, et si l’on pense au fait que plusieurs personnes peuvent partager la même adresse IP, l’aspect confidentialité est un peu préoccupant

    • L’inverse me semble plus probable. Google dispose d’une très bonne base de données de géolocalisation IP, et l’utilise probablement comme position de navigation lorsqu’il n’a pas d’autres informations
    • C’est sans doute pour cela qu’il m’indique parfois que je suis sur la rivière où je rame souvent, et parfois à l’endroit où se trouve ma résidence d’été
    • Ils l’utilisent aussi pour Google Workspace, la localisation des données et la détermination de la juridiction des forces de l’ordre

  • C’est intéressant, mais je ne pense pas que la géolocalisation réelle soit calculée de cette façon
    Les données ARIN/RIPE ne sont pas assez précises au-delà du pays pour être utiles
    La géolocalisation commerciale corrèle l’IP du client avec des emplacements physiques connus. Par exemple des informations sur des points d’accès WiFi, ou des colis envoyés à des utilisateurs. C’est du moins ce que j’entends dire depuis des décennies

    • Je travaille dans l’ad tech, et c’est bien comme ça que la géolocalisation est traitée
      Il existe aussi la géolocalisation des appareils, mais si l’utilisateur ne consent pas au partage des données GPS, on n’utilise que l’adresse IP pour le ciblage. Un fournisseur courant est MaxMind, qui distribue une base de données à héberger localement et à interroger

  • Les commentaires sont assez cyniques, mais personnellement j’ai trouvé ça vraiment intéressant
    Cela me rappelle mon premier emploi, quand j’ajoutais PostGIS et de la recherche géographique à une base de données. À l’époque, c’était basé sur les adresses et les codes postaux

    • On peut aussi le faire assez simplement avec MySQL. Une astuce consiste à utiliser un carré au lieu d’un cercle, ce qui évite beaucoup de calculs mathématiques

  • Il y a assez longtemps, j’ai créé http://www.hostip.info. C’était un service qui collectait les emplacements d’adresses IP de manière communautaire, du genre « cette estimation est incorrecte ? Corrigez-la »
    La dernière fois que j’ai vérifié, il y a probablement une dizaine d’années, le pays était presque parfait, la région incomplète, et la ville meilleure qu’un simple pile ou face. Toutes les données sont gratuites
    Je ne sais pas si c’est encore sur le site, mais il y avait aussi un cube 3D en rotation pour afficher des adresses connues ou des recherches récentes. x, y, z correspondaient aux trois premiers octets de l’adresse, et les couleurs variaient selon les groupes comme le pays ou le continent
    C’est tellement ancien que c’était écrit sous forme d’applet Java. Si je devais le refaire, ce serait probablement en WebGL
    Je l’ai vendu il y a longtemps, mais en posant comme condition que les données restent toujours gratuites. Au début, je n’y croyais pas, car l’offre reçue par e-mail ressemblait à une arnaque, mais tout s’est bien passé via escrow.com, et je pense que les deux parties ont été satisfaites. C’était il y a presque 20 ans maintenant

  • Cela ressemble à une version moderne du GeoIP basé sur le ping mentionné plus haut : https://github.com/Ne00n/yammdb

    • Comme cela ne renvoie qu’à des fichiers mmdb déjà compilés, s’il n’y a pas d’implémentation publiée, il n’y a rien de vraiment pertinent qui permette de considérer cela comme une implémentation « moderne »

  • Je cherche des suggestions sur une façon de géolocaliser, même très grossièrement, des IP de datacenters
    J’analyse des données de traceroute et je connais les positions de départ et d’arrivée, mais ce qui m’intéresse, ce sont les segments intermédiaires
    Par exemple, on peut déduire certaines informations à partir des codes d’aéroport présents dans les noms d’hôte des nœuds
    Il me semble aussi possible de déduire une position à partir du RTT moyen, à condition que l’état d’un nœud donné ne soit pas mauvais
    Des exemples d’IP problématiques sont 193.142.125.129, 129.250.6.113 et 129.250.3.250. Elles apparaissent dans des traceroute depuis le Royaume-Uni et je pense qu’elles sont à Londres, mais les résultats de géolocalisation sont dispersés dans le monde entier

    • Ces IP appartiennent à Google et à NTT, qui exploitent tous deux de grands réseaux internationaux, et peuvent donc déplacer des IP dans le monde entier s’ils le souhaitent. C’est pourquoi la géolocalisation basée sur des requêtes est instable, comme vous l’avez déjà constaté
      Les traceroute vers ces IP donnent l’impression que le réseau va vers Londres
      L’IP Google ne répond pas au ping, mais côté NTT/Verio, cela répond. Depuis un hébergement basé à Londres, il est très probable d’obtenir une réponse en quelques millisecondes, ce qui permettrait de fixer une borne supérieure à la distance depuis Londres
      Vous pouvez aussi faire des pings depuis d’autres hébergeurs au Royaume-Uni et de l’autre côté de la Manche pour vérifier si le ping minimal vient bien d’un hébergement londonien. Cela dit, la connectivité peut simplement passer par Londres alors que l’emplacement réel est ailleurs, donc on ne peut pas le savoir avec certitude
      Il faut aussi vérifier depuis d’autres points d’observation pour voir s’il ne s’agit pas d’anycast. Quand on ping 8.8.8.8 depuis la plupart des réseaux dans le monde, on atteint un site proche, mais pour ces IP, même depuis la région de Seattle, les traceroute vont vers Londres ; il est donc probable qu’elles ne soient pas en anycast, du moins actuellement
      Si vous n’avez pas d’hébergement partout dans le monde, cherchez des looking glass publics sur des réseaux bien connectés qui permettent parfois d’effectuer ce genre de ping
    • TULIP semblait prometteur
      « L’objectif de TULIP est de localiser un hôte cible, identifié par un nom ou une adresse IP, en utilisant des mesures de latence RTT par ping depuis des hôtes repères dont la position est bien connue jusqu’à la cible »
      https://tulip.slac.stanford.edu/
      Mais les endpoints publiés semblent morts
    • Il y a quelques idées dans https://ensa.fi/papers/geolocation_imc17.pdf
      Obtenir les RTT vers ces IP depuis des sondes RIPE Atlas de position connue correspond à peu près à l’idée évoquée, et c’est probablement la meilleure méthode dans tous les cas
    • Si vous exploitez une application ou un service web populaire, vous aurez votre propre numéro d’AS, achèterez quelques blocs d’IP sous cet AS, puis annoncerez ces adresses depuis plusieurs datacenters possédés ou loués dans le monde entier
      Ces annonces BGP sortiront vers différents ISP amont à différents emplacements
      Si l’amont d’une annonce issue d’un emplacement donné est un ISP régional, on peut supposer dans une certaine mesure que le datacenter se trouve dans cette région. Mais s’il s’agit d’un ISP Tier 1 offrant de l’interconnexion directe mondiale, même cette déduction devient difficile
      Les relations BGP sont visibles avec des outils de looking glass comme bgp.tools : https://bgp.tools/prefix/193.142.125.0/24#connectivity
      Si vous pouvez lancer des traceroute depuis plusieurs sondes de position connue réparties dans le monde, vous pouvez regarder les IP fixes des interfaces des routeurs intermédiaires et faire une triangulation
      Mais si vous utilisez un CDN comme Cloudflare pour annoncer votre bloc d’IP depuis plus de 200 PoP, puis faire transiter le trafic par leur réseau privé vers des datacenters dans le monde entier, cette méthode ne fonctionne plus non plus