Comment construire une base de données de géolocalisation IP à partir de zéro ?

• L’article explique le concept de géolocalisation, qui consiste à associer des adresses IP à des emplacements géographiques définis par une latitude et une longitude.
• L’intelligence de géolocalisation a de nombreuses applications pour les entreprises en ligne et les fournisseurs de services, notamment la publicité ciblée, la détection de fraude, la localisation de contenu, la gestion des droits numériques, la sécurité réseau et l’analyse.
• La précision de la géolocalisation IP peut être affectée par la répartition géographique des réseaux IPv4 et IPv6 ainsi que par la réattribution des réseaux IP par les registres Internet régionaux ou les sociétés de location d’IP.
• Construire une base de données de géolocalisation à partir de zéro implique d’extraire les données de géolocalisation des enregistrements WHOIS, d’interpoler les informations de géolocalisation à partir de ces enregistrements et de tirer parti de projets open source de géolocalisation.
• Les données de géolocalisation collectées peuvent être incomplètes ou incohérentes ; elles doivent donc être enrichies et converties dans un format commun à l’aide de bases de données géographiques open source.
• L’article propose un guide étape par étape pour extraire les données de géolocalisation des enregistrements WHOIS et interpoler les informations de géolocalisation à partir de ces enregistrements.
• L’article examine plusieurs projets open source de géolocalisation et met en avant leur rôle dans l’amélioration de la précision des bases de données de géolocalisation.
• L’article souligne la complexité de la localisation géographique des adresses IP ainsi que l’importance de la précision des API d’adresses IP.
• RIPE IPmap est une API qui fournit des données de géolocalisation sur l’infrastructure centrale d’Internet et qui déduit la géolocalisation des adresses IP à l’aide de plusieurs moteurs, notamment la latence, un moteur à rayon unique et un moteur de reverse DNS.
• La base de données RIPE IPmap peut être téléchargée au format CSV avec les champs IP, geolocation_id, city_name, state_name, country_name, country_code_alpha2, country_code_alpha3, latitude, longitude, score.
• La précision et la couverture du projet RIPE IPmap ont fortement diminué, et il n’y a eu aucune nouvelle contribution depuis 2019.
• Geofeed-finder, un projet open source créé par Massimo Candela, recherche des fichiers geofeed dans les données whois, vérifie la propriété des préfixes, gère le cache et valide les codes ISO.
• Le service LACNIC Geofeeds fournit des informations de géolocalisation pour une part importante des membres de LACNIC, et ces données peuvent être téléchargées publiquement.
• OpenGeoFeed est un projet open source qui compile des geofeeds auto-publiés en un fichier geofeed unique.
• Les données de géolocalisation sont souvent enrichies en prenant en compte des sources tierces à l’aide de bases de données géographiques open source comme geonames.org, openstreetmap.org et naturalearthdata.com.
• Le processus d’enrichissement des données consiste à trouver la latitude et la longitude (coordonnées) d’une ville et d’un pays donnés, ou à obtenir la ville et le pays les plus proches de ces coordonnées.
• Ipapi.is enrichit les informations de géolocalisation à l’aide de bases de données comme GeoNames Postal Code Files, cities500.zip et countryInfo.txt, et propose une offre gratuite avec 1 000 requêtes quotidiennes pour la plupart des utilisateurs.

[GN⁺]

Avis Hacker News

• Article sur la manière de construire une base de données de géolocalisation IP
• Un employé d’IPinfo explique la méthodologie de géolocalisation IP de l’entreprise : ils pinguent des adresses IP depuis plusieurs serveurs dans le monde et utilisent un processus de mesure multi-localisation pour identifier leur emplacement
• La méthode d’IPinfo atteint presque une précision au niveau du code postal et l’entreprise dispose de plus de 600 serveurs de sondes dans le monde
• Il est souligné que les jeux de données de géolocalisation IP disponibles publiquement sont souvent obsolètes, pas assez précis et peu fiables faute de processus de validation suffisant
• Suggestion d’utiliser Cloudflare pour la géolocalisation IP, qui fournit gratuitement des informations approximatives de localisation IP
• Un utilisateur critique les sites web qui utilisent la localisation IP pour déterminer la langue, estimant que c’est une hypothèse paresseuse qui ignore l’en-tête de langue du navigateur
• Suggestion selon laquelle la meilleure façon de construire un service de géolocalisation consiste à faire comme Google et Apple, avec un grand nombre d’appareils qui remontent simultanément leur position et leur IP
• Certains utilisateurs remettent en question la précision des données ARIN/RIPE pour la géolocalisation, affirmant qu’elles ne sont pas assez fiables au-delà du niveau pays
• Un utilisateur partage une expérience selon laquelle Google Maps apprend la localisation IP à partir des lieux explorés sur la carte
• Un utilisateur partage son expérience de création d’un service communautaire de localisation d’adresses IP, www.hostip.info, qui fonctionne bien avec une résolution au niveau pays
• Un autre utilisateur partage sur GitHub un lien vers une version moderne d’une méthode geoip basée sur le ping
• Certains utilisateurs expriment leur mécontentement vis-à-vis des services de géolocalisation IP, qu’ils jugent souvent inexacts