Recherche de tout le texte dans la ville de New York
(alltext.nyc)- Plus de 8 millions d’images de Google Street View ont été analysées par IA pour extraire 138 millions de textes de rue
- Ces données ont servi à construire une base de données consultable des textes de rue de NYC, puis un moteur de recherche
- Œuvre du media artist Yufeng Zhao, le projet permet d’afficher sur une carte la répartition de certains mots (par ex. pizza, Broadway, luxury, beware, gold, iglesia, jerk, etc.) afin de visualiser des caractéristiques culturelles, commerciales et locales
- Une expérimentation qui lit le paysage urbain de NYC comme une forme de « code source », et propose une nouvelle manière d’explorer les données de la ville
Aperçu du projet
- Objectif : collecter le texte visible dans tout NYC et le rendre consultable
- Source des données : Google Street View (2007~2025, plus de 8 millions d’images)
- Technologie : reconnaissance de texte dans l’image (OCR), cartographie des coordonnées de localisation
- Limites du périmètre : seuls les textes visibles depuis les rues accessibles aux véhicules sont inclus (ruelles, parcs et petits caractères exclus)
Principaux exemples de visualisation
- Pizza : répartition des pizzerias dans tout NYC
- Broadway : tous les marquages Broadway dans les boroughs et les zones de forte concentration de théâtres
- Luxury : slogans promotionnels de nouveaux ensembles résidentiels, fortement concentrés dans le secteur de Hudson Yards
- Beware : mot surtout présent dans des zones résidentielles périphériques avec maisons et clôtures, presque absent à Manhattan
- Gold : Diamond District et rues des boutiques de rachat d’or
- Iglesia : localisation des églises dans les communautés hispanophones
- Jerk : zones de Flatbush et Jamaica où les restaurants jamaïcains sont nombreux
- Unisex : répartition géographique des salons mêlant coiffure homme et beauté
Exemples de textes intéressants
- Fedders : logo d’une marque de climatiseurs intégrés des années 1950 à 1990, lié au phénomène des « Fedders houses »
- Yodock : marque de barrières plastiques de chantier pour trottoir
- 4Cars (Acars) : publicité collée illégalement pour le rachat de voitures d’occasion, avec erreur de reconnaissance OCR
- Sabrett : marque emblématique des chariots à hot-dogs de NYC, présente dans les zones touristiques
- Halal : commerces et chariots de nourriture halal, apparus dans les années 1980 puis devenus un élément de la culture culinaire urbaine
- Siamese : nom d’un type de raccord pour tuyaux d’incendie
- Surveillance : panneaux signalant des caméras, présents dans les espaces publics comme privés
Interprétation et sens
- Le projet réinterprète la ville comme une carte fondée sur le texte et rend visibles les traces du commerce, de la culture, de la sécurité et des infrastructures
- La répartition géographique de certains mots est étroitement liée à des aires culturelles, secteurs d’activité et caractéristiques sociales
- Les mots liés à l’avertissement et à la surveillance reflètent la culture de la sécurité et du contrôle à NYC, ainsi que la dimension archivistique de l’espace public
- Au-delà de la simple visualisation, ces données peuvent servir de matériau de recherche en histoire urbaine, sociologie et branding
4 commentaires
Le contenu est franchement très halluciné.
« all text in nyc » est un moteur de recherche qui retrouve du texte dans les images Google Street View de la ville de New York. Recherchez n’importe quel mot ou expression pour voir où il apparaît à travers la ville — sur des enseignes, des graffitis, des publicités et des pancartes de manifestation.
En réalité, le site prend toutes les images Street View, leur applique de l’OCR, puis permet de rechercher des mots spécifiques.
Cela a été corrigé.
C’est vraiment intéressant, mais quand on pense que ce n’est ni le gouvernement ni une entreprise comme Google qui a créé ça, c’est un peu effrayant.
On sent à quel point le monde déborde de données.
Commentaires sur Hacker News
Cet article sur ce site est aussi vraiment intéressant : le projet Street View de The Pudding
The Pudding est l’un des meilleurs contenus qu’on puisse voir sur Internet en ce moment
Ajouté tout en haut
Sur YouTube, il y a des gens qui filment des vidéos de marche à travers différentes villes. Personnellement, j’aime particulièrement les vidéos de balade à Tokyo / au Japon. Je me dis qu’il serait aussi génial de créer des cartes 3D à partir de ce genre de vidéos. Ce n’est pas mon domaine d’expertise, mais j’imagine que certaines entreprises l’ont déjà fait. Il y a énormément de données dans ce type de vidéos. Peut-être qu’on pourrait même les utiliser gratuitement pour l’entraînement de robots, par exemple des robots de livraison qui se déplacent dans la foule
Techniquement, ça ressemblerait sans doute à une combinaison de SLAM, photogrammétrie et VIO, mais sans IMU il faudrait estimer cette partie à partir de la vidéo. Ça semble même trop rapide, jusqu’aux images et au scintillement de l’éclairage
Liens d’exemple : balade dans les rues de Tokyo, autre exemple
Dans le même esprit, un outil capable de reconstruire un plan à partir d’images fixes comme des photos immobilières serait vraiment utile. Même s’il fallait un peu de saisie manuelle, ce serait exploitable
Il y avait autrefois quelqu’un qui publiait sur YouTube des vidéos tournées dans les quartiers d’électronique de Tokyo. Étonnamment, les meilleurs endroits pour acheter des smartphones ou des pièces de robotique se trouvaient dans des bâtiments totalement discrets, impossibles à repérer sans vraie connaissance locale. Si quelque chose comme ce qui est proposé pouvait vraiment être mis en œuvre, ce serait d’une aide énorme pour les voyageurs qui cherchent ce genre d’endroits. J’aimerais vraiment voir ça
Ce serait vraiment intéressant si une telle fonction était ajoutée à la recherche Google Maps. J’ai souvent l’impression que Google Maps est insuffisant pour trouver certaines infos. Récemment, j’ai cherché des endroits servant du café filtre manuel dans le sud de Gran Canaria, et au final il n’y en avait qu’un dans un hôtel, après 30 minutes de recherche. Je cherche avec des termes comme "pourover" ou "v60", qui sont mes mots-clés habituels, mais si le café ne les mentionne pas clairement dans sa description ou dans les avis, c’est difficile à trouver. Le texte visible sur les photos prises par les clients, par exemple les menus, n’a même pas l’air d’être indexé
Si on cherche V60, j’imagine que la plupart des résultats seront des voitures Volvo, mais je me demande combien de photos prises dans des cafés contiennent réellement ce mot
Si les coffee shops n’avaient pas conscience de l’importance de ces mots, ce serait peut-être le moment d’y penser. Honnêtement, moi aussi je pense que je reviendrais sur ce site
Je laisse ce commentaire parce que je suis curieux du GitHub de la personne qui a préparé les données. Je me demande quelles ressources de calcul ont été nécessaires pour analyser les données de New York. J’aimerais essayer dans ma ville aussi, mais j’ai peur de ne pas avoir le budget. Voir yz3440 GitHub (les commentaires plus bas ont raison : en réalité, ce n’est pas la puissance de calcul qui inquiète, mais la facture de l’API Google Maps. En gratuit, il aurait probablement fallu des années à l’auteur. J’envie son budget)
Je m’attends à ce que le coût de calcul de l’OCR soit faible. Avec un PC personnel performant, une nuit ou une semaine devrait suffire. Le vrai problème, c’est le tarif de l’API Google Maps. À moins d’obtenir une exonération en tant que projet artistique, c’est très lourd voir les tarifs de Maps Platform ; pour une grande ville avec beaucoup de panoramas, on dépasse facilement le free tier et on arrive à plusieurs milliers de dollars
D’après l’article, 8 millions de panoramas ont été utilisés, donc rien que le Street View API aurait coûté environ 30 000 dollars (et l’API d’images statiques serait probablement deux fois plus chère à cause de sa résolution plus faible). L’OCR serait bien moins coûteux si ce n’est pas urgent. Par exemple, avec un GPU standard faisant tourner un serveur PaddlePaddle, on pourrait traiter 4 MP par seconde. Avec du matériel à quelques milliers de dollars, cela semblerait faisable en 3 à 6 mois selon la résolution et la taille du modèle
8 millions d’images, ça fait 13,2 images par seconde sur une semaine. Ce que je me demande, c’est si les données ont été aspirées via l’API Google ou en collaboration avec Google
Après avoir fait le calcul avec Claude, récupérer toutes les photos de rue de Taipei via l’API gmap à des intervalles de 3 m reviendrait à environ 8 000 dollars. C’est cher, mais pas impossible
Je trouve intéressant qu’ils censurent des grossièretés comme "fuck". Je ne sais pas si le fait de lire le mot en entier a vraiment un effet sur le cerveau
On peut trouver ce mot dans les vraies photos. Sauf s’il est censuré séparément quelque part dans la version Street View, bien sûr
C’est probablement à cause du SEO ou d’une politique family-friendly, ou des deux. À noter qu’il existe aussi sur YouTube une règle sur les jurons dans la première minute d’une vidéo
Si on cherche "Fool", il y a énormément d’erreurs d’OCR, à cause des occultations et autres exemple de résultats de recherche "Surgery of the Fool" est le meilleur
Ça semble très utile pour l’OSINT (analyse d’informations en sources ouvertes). Je me demande si les services de renseignement n’ont pas déjà quelque chose comme ça à l’échelle mondiale
Projet vraiment génial. Ce serait 10 fois plus impressionnant s’ils y ajoutaient aussi des embeddings de type CLIP pour permettre une recherche vectorielle sémantique, pas seulement sur le texte mais aussi sur des choses comme "personnes en train de se battre", "chat et chien", "Tesla rouge", "clown", "enfant et chiot"
Il y a aussi des projets liés comme All Text in NYC et All text in Brooklyn
Ça me fait penser à un service appelé NY Cerebro. Il permet la recherche sémantique sur des centaines de caméras publiques de rue à New York nycerebro.vercel.app (par exemple en cherchant "scaffolding")
J’ai été surpris par la très faible résolution des caméras publiques de rue. Avec en plus les reflets des phares de voiture, le résultat n’est pas très satisfaisant
Ce service est un projet qui avait remporté la première place lors d’un hackathon NVIDIA et Vercel