Compter tous les yourtes/gers de Mongolie avec le machine learning
(monroeclinton.com)- Projet visant à compter directement le nombre de yourtes (gers) dans toute la Mongolie à l’aide d’un algorithme de machine learning
- Entraînement d’un modèle YOLO pour identifier les yourtes à partir d’une seule image satellite, avec automatisation de l’annotation de données à grande échelle
- Utilisation de serveurs distribués, Docker Swarm, FastAPI et d’autres outils pour permettre à environ 120 workers de traiter des tuiles d’image en parallèle et d’agréger les résultats
- Au final, 172 689 yourtes ont été détectées, contribuant à mieux comprendre la croissance urbaine en Mongolie et les problèmes d’infrastructure résidentielle
- Le projet apporte aussi un éclairage sur les quartiers de gers en Mongolie, leur contexte social et leurs enjeux de développement
Compter les yourtes de Mongolie avec le machine learning – aperçu du projet
Curiosité autour de la société mongole contemporaine
- Pour mieux comprendre l’histoire de l’Empire mongol et la Mongolie actuelle, l’auteur a exploré activement la vue satellite de Google Maps plutôt que de commencer par analyser des données
- En observant des images satellites d’Oulan-Bator, il a repéré d’immenses ensembles de yourtes s’étendant sur plusieurs kilomètres et a décidé de les compter lui-même
Préparation des données et de l’annotation
- Collecte automatisée d’images satellites sous forme de tuiles (256x256 px) depuis Google Maps, principalement autour d’Oulan-Bator
- Import des tuiles dans Label Studio pour annoter manuellement chaque yourte avec des boîtes englobantes, et ainsi produire des données annotées (annotated data)
- Adoption de YOLO11 (ultralytics) comme algorithme de détection d’objets, avec utilisation du jeu de données annoté pour entraîner le modèle
Entraînement du modèle et extension du dataset
- Au-delà de l’entraînement du modèle basé sur YOLO11, le niveau d’automatisation a été amélioré via une boucle de feedback itérative annotation–réentraînement–annotation
- Au départ, le manque de données limitait la précision, mais l’ajout itératif d’annotations et l’augmentation du nombre d’échantillons ont permis d’améliorer le taux de détection
- L’entraînement a été réalisé à grande échelle non pas sur un laptop mais via des ressources GPU louées sur vast.ai, dans un environnement de conteneurs Docker. Une fois l’entraînement terminé, les résultats du modèle et les métadonnées étaient automatiquement envoyés vers un stockage S3
Mise en place d’un système d’exploration à l’échelle nationale
Optimisation de la zone à explorer
- Calcul du nombre de tuiles par niveau de zoom à l’échelle de toute la Mongolie
- La densité de population étant faible, des points susceptibles de correspondre à des zones habitées ont été extraits via overpass turbo afin d’exclure les zones non résidentielles
- En prenant comme base un tampon de 2 km autour des points extraits, l’ensemble des tuiles réellement à inspecter a pu être fortement réduit
Traitement distribué à grande échelle
- Utilisation de Docker Swarm pour constituer un cluster de 8 serveurs (128 vCPU au total)
- Séparation des rôles entre le serveur API (FastAPI) et les workers :
- API : gestion des zones de recherche et des ensembles de tuiles attribués aux workers, ainsi que du suivi de progression et de l’état
- Workers : récupération d’une zone de recherche depuis l’API, détection des yourtes sur les tuiles correspondantes avec le modèle, puis enregistrement des résultats dans l’API
Agrégation des résultats
- Traitement en parallèle d’environ 270 000 zones de recherche et de plusieurs millions d’images
- Au final, 172 689 yourtes ont été confirmées sur la base de détections avec une probabilité d’au moins 40 %
- Le dataset a été publié, permettant d’analyser l’usage des sols, les hôtels ou encore la répartition des yourtes à proximité de petites mines
Les yourtes et le contexte social mongol
Histoire et évolution des zones de gers (yourtes)
- Historiquement, la yourte était la forme d’habitat traditionnelle des nomades mongols, mais ses usages ont évolué de multiples façons avec l’urbanisation et l’industrialisation
- Au début du XXe siècle, les yourtes servaient aussi à des usages publics, comme des écoles temporaires, et l’afflux de population vers les grandes villes a entraîné la formation de quartiers de gers à Oulan-Bator et ailleurs
« Lors du recensement de 1979, 51 % de la population totale vivait en zone urbaine, reflet de l’urbanisation rapide des années 1970. Le manque de logements et d’infrastructures a entraîné l’extension des quartiers de gers en périphérie urbaine. »
Urbanisation et défis d’infrastructure
- Des populations venues des campagnes ont migré vers les villes avec leurs yourtes, qu’elles ont utilisées comme logement dans des zones dépourvues d’infrastructures formelles
- L’introduction en 2002 d’une loi relative à la propriété foncière a permis d’engager la formalisation juridique des installations des habitants des quartiers de gers
- Le gouvernement a lancé des politiques de réaménagement, notamment le Ulaanbaatar 2020 Master Plan, mais les progrès réels restent lents
« Les propriétaires fonciers des quartiers de gers vendent ou échangent leurs terrains à des promoteurs pour construire de nouveaux appartements, mais la valeur des appartements est souvent inférieure à celle du terrain, ou bien le rythme du développement est lent. »
Enseignements et perspectives
- Cela montre que la formalisation des quartiers de gers et la fourniture d’infrastructures restent des enjeux sociaux et politiques majeurs
- L’objectif de long terme du gouvernement mongol est de déployer dans les quartiers de gers des logements, réseaux d’eau, électricité et autres infrastructures urbaines
- Des politiques fondées sur les données et un suivi continu sont nécessaires
Questions pour aller plus loin
- Quels sont, en Mongolie et dans d’autres pays, les principaux facteurs de l’urbanisation et de l’industrialisation ?
- Quelles différences existent entre les Mongols qui s’installent en ville et ceux qui restent ?
- Quelles sont les difficultés rencontrées par les pouvoirs publics dans l’aménagement des quartiers de gers ?
- Quels facteurs expliquent les écarts de rythme de développement selon les pays ?
Références
- Référence à plusieurs articles, rapports et bases de données majeurs sur les politiques publiques, la sociologie et les infrastructures
- “Distributional Effects of Ger Area Redevelopment in Ulaanbaatar, Mongolia.”
- Ulaanbaatar 2020 Master Plan and Development Approach for 2030.
- “Educational Import: Local Encounters with Global Forces in Mongolia.”
- Mongolia: A Country Study. Federal Research Division, Library of Congress.
- Poverty Mapping in Mongolia with AI-Based Ger Detection Reveals Urban Slums Persist after the COVID-19 Pandemic. arXiv.
Conclusion
- Le projet montre comment la technologie et les données peuvent servir à observer des problèmes sociaux, tout en apportant un regard nouveau sur le contexte social et les modes d’habitat
- Il s’agit d’un cas d’usage concret combinant diverses techniques et outils open source (machine learning, Docker, FastAPI, etc.)
1 commentaires
Commentaires Hacker News
Quand on parle des quartiers de ger/yourtes en ville, il ne faut pas sous-estimer l’importance culturelle du mode de vie nomade et de la culture du ger. Ces derniers temps, à cause du changement climatique (désertification) et de raisons économiques, beaucoup de gens abandonnent malgré eux la vie nomade et s’installent près de villes comme Oulan-Bator. Souvent, ils considèrent cela comme temporaire et viennent en ville à contrecœur. Au-delà du manque de logements, il existe aussi une forte réticence psychologique à déménager dans des structures permanentes comme des appartements, car cela symboliserait l’abandon complet du nomadisme. C’est pourquoi on voit souvent des gers installés à côté de bâtiments permanents, ajoutés dans la cour de proches, ou agrandis comme moyen de préserver une identité culturelle. On peut le voir dans les premières photos
Il y a quelques années, en traversant la Mongolie à moto, quelque chose m’a frappé : même les gens vivant dans de bonnes maisons permanentes avaient toujours un ger dans leur arrière-cour. En tant qu’étranger, je trouvais étrange d’avoir besoin d’une seconde maison, mais quand j’ai posé la question à des locaux, ils m’ont regardé comme si c’était moi qui étais bizarre. Le ger est simplement profondément ancré dans la culture, c’est une sorte de symbole de statut, mais aussi un espace pour recevoir des invités, vivre dehors et servir à toutes sortes d’usages
Je voulais raconter une expérience au palais de Khiva, en Ouzbékistan : c’était clairement un palais traditionnel avec une entrée et de nombreuses pièces somptueuses, et pourtant, dans un coin d’une cour intérieure totalement entourée de murs, il y avait un emplacement circulaire bien distinct, destiné à installer un ger. Les khans de cette région se vantaient eux aussi de descendre de Gengis Khan, et même s’ils vivaient en ville, il existait l’idée qu’il n’était pas digne d’un khan de passer la nuit sous un toit permanent ; leurs proches en visite ne voyaient pas cela d’un bon œil non plus
Wiki du palais Toshhovli
[Photo de l’emplacement circulaire dans la cour de réception](https://en.wikipedia.org/wiki/Toshhovli_Palace#/media/File:KhivaTach_Khaouli_reception_yard_Iwan.JPG)
En Mongolie, plusieurs hivers particulièrement rudes ont récemment provoqué des déplacements massifs depuis les steppes, avec une forte baisse des troupeaux, si bien qu’une grande partie de la population afflue vers les villes. Même s’ils le voulaient, il n’y a tout simplement pas assez de place dans les bâtiments permanents
D’après ce que j’ai entendu, ils possèdent probablement déjà un ger, et il est relativement facile à déplacer quand nécessaire. J’ai aussi entendu dire que, pour certains événements particuliers, ils retournent à leur maison de campagne
Plutôt que de voir la vie en ger comme l’échec d’une politique publique, je penche davantage pour l’idée d’un choix culturel. Gengis Khan vivait lui aussi dans un ger, et dans les faits, certaines personnes y vivent par nécessité, d’autres par choix. Il est donc difficile d’affirmer que cette situation est en soi négative
À Oulan-Bator, il existe des gers standardisés. On peut facilement acheter des pièces détachées ou des gers complets sur les grands marchés. En 2017, cela coûtait environ 1 000 dollars l’unité. Pour ce prix, on obtient une petite maison bien isolée, facile à déplacer, et en Mongolie on peut s’installer à peu près n’importe où hors des centres urbains (cela dit, avec 2 000 moutons, mieux vaut discuter de l’usage des pâturages avec les locaux). Au final, choisir un ger relève non seulement de la tradition et de la culture, mais aussi d’une décision rationnelle dans ce contexte
Au passage, par politesse, on appelle yourte la tente d’habitation de type turc, et ger la mongole. En France on appellerait ça un schtroumpf, au Canada un plumbus, et aux États-Unis un flip, plaisantait-on. Et d’ajouter pour rire que ça l’agace un peu quand un local appelle son schtroumpf un ger
Je me demande quel type de fondation ils préparent pour installer un ger
Il a été dit qu’il y avait 0 yourte à laquelle on applique du machine learning en Mongolie
Ça me paraît peu probable, j’imagine au contraire qu’il y en a pas mal
Au début, j’ai cru que yourte désignait un métier ou un type de personne, donc j’avais mal compris le titre
Merci, ça m’a fait rire
En tant que non-natif, je me demande quelle serait une formulation plus correcte. Quelque chose comme « J’ai compté toutes les yourtes de Mongolie avec du machine learning » a aussi été proposé
Je trouve dommage de ne pas avoir utilisé en entrée les 89 259 yourtes dont les contours sont déjà indiqués dans OpenStreetMap (OSM). Cela dit, il y a probablement eu des problèmes pour aligner ces contours avec les images de Google Maps
Statistiques des tags OSM pour les ger en Mongolie
J’imagine aussi que le modèle détectait mal les yourtes situées sur les bords des tuiles. Et vu les 3 millions d’habitants, ce nombre paraît étonnamment bas
Concernant le fait qu’« il y a peu de yourtes par rapport à 3 millions d’habitants », si le total estimé est bien de 172 700, et qu’on suppose qu’il s’agit de logements familiaux avec 4 personnes par ger (probablement davantage en réalité), cela ferait environ 690 000 personnes, soit 20 % des 3,5 millions d’habitants de la Mongolie. Ça semble tout à fait plausible
J’ai aussi partagé mon estimation avant de cliquer sur le lien. Sur 3 millions d’habitants en Mongolie, 1,5 million vivent dans la capitale. En supposant qu’environ 1 million vivent hors des centres urbains et qu’il y ait un ger pour 4 personnes, on arrive à 250 000. En ajoutant ceux destinés aux invités, au stockage ou installés dans des cours de maisons, j’aurais estimé environ 300 000, soit presque le double du résultat de l’app de ML
L’idée d’utiliser OSM ou autre comme labels revient souvent dans les projets géo/ML. Mais la licence d’OSM interdit d’adopter les images de Google Maps, donc même à des fins de recherche il existe beaucoup de problèmes juridiques autour de l’approvisionnement ou de la redistribution des images. Google sous-licencie la propriété intellectuelle depuis diverses sources d’images externes et en contrôle strictement l’usage. Il y a aussi l’important problème d’alignement entre images et labels, et le labeling lui-même peut reposer sur des coordonnées GPS plutôt que sur l’image. De plus, pour des structures mobiles comme les gers, l’exhaustivité et la cohérence des labels sont inévitablement limitées. L’exhaustivité d’OSM dépend aussi fortement de l’activité de la communauté locale. Cela dit, ça peut quand même servir à croiser ses propres labels avec les prédictions. Pour la détection par tuile, on jette généralement les prédictions en bordure, puis on gère les doublons avec des fenêtres qui se chevauchent et du NMS
172 000 et quelques, cela reste un chiffre énorme, et le nombre de gers rapporté à la population est probablement de loin le plus élevé au monde
Je veux souligner que télécharger directement les images satellite de Google Maps est interdit par les conditions d’utilisation. En pratique, on se fait facilement bloquer, donc je suis surpris qu’ils aient réussi à récupérer toutes les tuiles de la Mongolie
En dehors d’un monopole de marché, je ne vois pas bien la raison d’une telle politique
Si on se fait bloquer, il suffit de créer un nouveau compte, selon certains
Le résultat est intéressant, et je me demande quel était réellement le taux de faux positifs. J’aimerais aussi savoir si des cuves de stockage, des silos ou des piscines extérieures ont été classés par erreur comme des gers
Ça m’a rappelé un projet géo/ML que j’avais vu à l’université, et ça faisait plaisir d’en revoir un après si longtemps. Le gouvernement australien dépense aussi chaque année beaucoup d’argent pour des travaux similaires, mais comparé aux résultats présentés ici, notre administration semble bien plus inefficace. C’est frustrant de voir qu’elle n’arrive même pas à classer correctement une parcelle de terrain ni à compter de petits objets en forme de ger
Dans le résultat « 172 689 gers détectés avec un score de prédiction supérieur à 40 % », je me demande comment interpréter ce « prediction score »
Au départ, j’ai cru que le titre signifiait que toutes les yourtes de Mongolie « utilisaient » le machine learning
Il est mentionné qu’une solution semi-commerciale (gratuite à des fins éducatives) a été utilisée, et je suis curieux de connaître la topologie/l’architecture du modèle de deep learning. Je me demande aussi s’il existe une meilleure approche