Suivre les prix des produits alimentaires en Autriche via le scraping
(mastodon.gamedev.place)- Alors que la pression sur les prix de l’alimentation et de l’énergie s’accentue en Autriche, Mario Zechner a créé lui-même une plateforme de suivi des prix à partir des boutiques en ligne des grandes enseignes, après l’annonce par le gouvernement d’une base de données de prix limitée
- Le premier prototype, couvrant l’ensemble des produits de deux grandes chaînes, a été réalisé en 2 heures seulement, puis enrichi avec des données de magasins allemands et slovènes, la normalisation des catégories, l’appariement de produits similaires et des outils d’analyse
- En y ajoutant des données fournies anonymement et collectées depuis 2017, il est devenu possible de constater, y compris dans l’historique, que les prix des produits de marque propre de deux grandes chaînes coïncident au centime près
- Les données de prix historiques révèlent des cas où les prix s’alignent le même jour ou avec 1 à 2 jours d’écart, des cas de shrinkflation, ainsi que des produits identiques jusqu’à 40 % plus chers qu’en Allemagne
- Le marché autrichien de l’alimentaire affiche une part très élevée de produits en promotion, autour de 40 %, si bien que même des baisses de prix affichées peuvent, avec le système de promotions cycliques, faire augmenter le montant moyen réellement payé
Annonce d’une base de données publique des prix et naissance d’un projet personnel
- En Autriche, l’inflation est plus élevée que la moyenne de l’UE, avec une pression particulièrement forte sur des biens de première nécessité comme l’énergie et l’alimentation
- En mai, le gouvernement a annoncé la création d’une base de données des prix alimentaires avec les grandes chaînes de distribution
- Le ministre en charge a indiqué que l’ampleur du travail imposait un lancement à l’automne
- Le périmètre se limite à 16 catégories de produits, comme la farine ou le lait
- La fréquence de mise à jour prévue est de une fois par semaine
- En entendant cela, Mario Zechner a réalisé en 2 heures un prototype couvrant l’ensemble des produits de deux grandes chaînes
- La plateforme fonctionne en crawlant les boutiques en ligne des enseignes
- La plupart des magasins disposent d’une API
- Les données collectées sont normalisées pour permettre des comparaisons entre enseignes
- Elles sont ensuite rendues disponibles dans un format exploitable pour la publication et l’analyse
Extension de la plateforme et données de prix depuis 2017
- Après la plateforme initiale, des données de magasins allemands et slovènes ont aussi été ajoutées
- Des techniques légères de data science ont été utilisées pour normaliser les catégories de produits propres à chaque enseigne et apparier les produits identiques ou similaires
- Un utilisateur anonyme de Twitter a fourni des données crawlées depuis 2017 sur deux grandes chaînes
- Zechner a intégré ces données à la plateforme et ajouté des outils d’analyse
- Les premières analyses suggèrent une hausse des prix importante, même en tenant compte de l’augmentation des prix de l’énergie
Concordance des prix entre chaînes et changements simultanés
- Avant la construction de la plateforme, la première analyse consistait à comparer manuellement les produits les moins chers vendus en propre par deux grandes chaînes
- Il s’agissait par exemple de produits comme le lait ou la farine de marque de distributeur
- Les prix de 40 paires de produits correspondaient exactement au centime près
- Une ONG a vu cela sur Twitter et a mené la même analyse sur 600 paires de produits, avec le même constat
- Une fois les données historiques intégrées, il est devenu possible de comparer le moment des variations de prix d’un même produit dans les deux chaînes
- Pour les produits de marque propre d’entrée de gamme, on observe des cas où les prix changent le même jour, ou avec 1 à 2 jours d’écart, pour aboutir au même niveau de prix dans les deux chaînes
- Ce schéma apparaît non seulement sur les marques propres les moins chères, mais aussi sur des produits de marque propre de milieu de gamme
- Zechner évoque la possibilité d’une collusion tacite (tacit collusion), avec un alignement des prix dans un oligopole sans coordination explicite
- D’autres plateformes similaires disent avoir observé le même schéma
- Selon lui, ce phénomène est apparu à partir de la période où l’inflation a fortement accéléré
Shrinkflation et écarts de prix entre pays
- L’analyse de la plateforme a aussi mis en évidence des cas de shrinkflation
- C’est-à-dire des produits dont la quantité diminue alors que le prix reste identique ou augmente
- Un exemple est donné avec de la lessive
- Des cas montrent aussi qu’un même produit est jusqu’à 40 % moins cher en Allemagne
- L’Allemagne est présentée comme un pays au revenu moyen et au coût de la vie plus élevés
- Même des produits fabriqués uniquement en Autriche peuvent être moins chers hors d’Autriche
- Billa est mentionné comme la version autrichienne de REWEDE
- Même Red Bull, marque autrichienne, présente des cas où son prix promotionnel en Autriche est plus élevé que son prix normal en Allemagne
Structure des promotions et effet réel des « baisses de prix »
- Le marché autrichien de l’alimentaire se distingue par une part particulièrement élevée de promotions
- Dans un marché alimentaire concurrentiel classique, environ 10 à 20 % des produits sont en promotion en moyenne
- En Autriche, cette proportion atteindrait 40 %
- Les promotions rendent difficile pour les consommateurs de connaître le prix réellement payé
- Les consommateurs ont du mal à connaître les prix avant de se rendre en magasin et de voir les promotions du jour
- Les chaînes envoient des prospectus promotionnels par courrier et utilisent aussi des systèmes d’autocollants à collectionner puis à apposer sur les produits en caisse
- Les applications sont également mentionnées comme un moyen de récupérer des informations sur les utilisateurs
- Après une couverture médiatique négative, des chaînes alimentaires ont affiché en magasin des messages indiquant qu’elles avaient déjà baissé les prix de « 450 produits cette année »
- Le nombre total de produits est présenté comme étant d’environ 22 000
- La chaîne concernée fournit aussi la liste des produits dont le prix a baissé dans un PDF lisible par machine
- Zechner a fait correspondre les produits de ce PDF avec sa propre base de données
- En apparence, l’affirmation de baisse de prix s’est révélée correcte
- Mais certains produits faisaient partie de cycles de prix récurrents sur plusieurs années et ne correspondaient donc pas à une baisse permanente
- Des cas encore plus subtils apparaissent aussi
- Certains produits ont vu leur prix catalogue baisser, mais leur prix promotionnel appliqué périodiquement augmenter
- Ainsi, même si la baisse du prix catalogue est réelle, un consommateur qui achète le même produit chaque semaine peut finir par payer en moyenne plus qu’auparavant à cause de la hausse du prix promotionnel
1 commentaires
Commentaires sur Hacker News
Ayant vécu en Autriche et en Allemagne, je peux dire que les prix des supermarchés autrichiens sont beaucoup plus élevés, c’est 100 % vrai, et c’est aussi le cas pour les produits autrichiens.
La raison, c’est que les Allemands sont extrêmement sensibles aux prix et comparent toujours, tandis que les Autrichiens, en moyenne, s’en soucient moins, et les supermarchés en profitent. L’Autriche a une densité de population plus faible et beaucoup de magasins difficiles d’accès, comme dans les régions montagneuses, ce qui entraîne des coûts logistiques plus élevés ; la TVA est aussi légèrement plus élevée, et les salaires de la main-d’œuvre peu qualifiée dans les supermarchés et la logistique sont un peu plus élevés qu’en Allemagne.
En outre, en Autriche, même les magasins d’une même enseigne sont plus agréables qu’en Allemagne, les rayons sont mieux tenus et les files d’attente ont tendance à être plus courtes, ce qui augmente les coûts d’exploitation. Au final, si les consommateurs accordaient autant d’importance aux prix qu’en Allemagne et se souciaient moins de l’esthétique, les prix baisseraient ; et s’ils commençaient à marcher un peu plus pour aller dans un supermarché moins cher, les prix pourraient aussi baisser.
En Autriche, les transports publics et le vélo sont bien meilleurs, donc on ne fait pas forcément de détour exprès pour passer par l’épicerie la moins chère. Dans les régions autrichiennes où l’on utilise la voiture, la densité de population est trop faible pour qu’il y ait beaucoup de concurrence entre supermarchés.
Cela tient en partie à la TVA plus élevée aux Pays-Bas, mais je pense que cela vient surtout du fait que les Néerlandais acceptent simplement de payer plus cher que les Allemands.
En tant que développeur autrichien et consommateur, j’ai suivi ce problème de près toute l’année, et c’est extrêmement frustrant de se faire arnaquer sans aucune raison valable, sans que rien ne change et sans que personne ne s’en soucie.
C’est vraiment impressionnant que Mario continue à s’accrocher à ce sujet et ne se soit pas lassé de cette folie exaspérante.
Pour empêcher les entreprises de mal se comporter, il faut un adulte dans la pièce. On part du principe que, sans surveillance, les entreprises se comportent mal ; ce n’est pas tant une affirmation qu’une hypothèse à vérifier.
À tout le moins, en l’absence de conséquences, les entreprises se comportent plus mal ; autrefois elles n’avaient pas de « bonne raison » d’augmenter les prix, mais désormais l’inflation sert de couverture aux hausses.
Ce type de projet de données d’indices semble très prometteur comme domaine à part entière, surtout maintenant que l’IA et les systèmes de machine learning facilitent l’observation des changements et des tendances. La question clé est de savoir comment obtenir des conclusions et des observations suffisamment nettes pour susciter une indignation sociale assez forte pour que les gens agissent.
Ou alors il faut peut-être simplement accepter que les entreprises utilisent ces technologies pour tout optimiser au détriment des consommateurs, et ne pas les utiliser pour une résistance de type white hat contre cela.
Cela dit, quand on donne 500 euros de Klima bonus supplémentaires par an à tout le monde, je ne sais pas trop à quoi les gens s’attendaient. Je me demande en quoi cela est censé faire baisser l’inflation, et j’ai l’impression que les chaînes de supermarchés en profitent.
Que le prix soit haut ou bas, la raison est toujours la même : c’est celui qui rapporte le plus d’argent.
Ces entreprises réagissent très vivement dès que cela commence à affecter leurs revenus. Ce n’était peut-être pas Bournvita, mais un additif similaire pour le lait destiné aux enfants.
Si c’est comme au Royaume-Uni, il y a tellement de shrinkflation qu’il faudra comparer les prix au gramme. On réduit la taille des produits et on remplace les ingrédients par des versions moins chères : en apparence, l’emballage est le même, mais il y a davantage d’air dans les emballages de barres chocolatées, un vide de 1 cm sous le couvercle des cornets de glace, un fond creusé dans les barquettes de beurre, ou des côtés d’emballages autrefois droits qui deviennent maintenant rétrécis.
Ce genre de « combine » existe depuis longtemps, mais il est de plus en plus utilisé. Tous les supermarchés disposent d’une base de données complète de leur stock, donc ils pourraient envoyer toutes les cinq minutes une liste de prix à jour pour tous les produits, quasiment sans coût. Les législateurs ne semblent pas consulter d’experts, ni même avoir l’intention de le faire, mais c’est tout de même un début.
Le problème, c’est que lorsque les épiceries poussent les gens à utiliser des cartes de « fidélité », elles peuvent faire passer tous les prix en « prix promotionnels », ce qui leur permet d’éviter l’obligation d’afficher le prix unitaire. Elles n’affichent alors que le prix en £/kg du prix normal plus élevé, et le consommateur ne peut pas comparer facilement.
On peut l’éviter en faisant ses courses chez Aldi ou Lidl, mais je ne serais pas surpris qu’ils cèdent bientôt eux aussi à la tentation des prix réservés aux cartes de fidélité. Bien sûr, eux aussi ont pratiqué la shrinkflation.
Exemple : https://www.tesco.com/groceries/en-GB/products/296117381 — « £3.00 / £10.71/kg », mais le prix Clubcard est £2.00.
En tant qu’Autrichien, je trouve ce projet de comparaison des prix intéressant, mais l’éléphant dans la pièce, c’est qu’à produit identique, les prix des épiceries allemandes sont 20 à 40 % plus bas.
Les explications des chaînes de supermarchés sont au mieux suspectes. Elles disent par exemple qu’il y a plus de magasins par habitant qu’en Allemagne, ou qu’elles doivent acheter auprès de distributeurs autrichiens plus chers. J’ai aussi entendu une histoire similaire selon laquelle la Belgique serait plus chère que la France.
Pour faire bouger les choses, il faudrait une comparaison des prix à l’échelle européenne.
Les petites entreprises ont du mal à entrer sur le marché, car elles n’ont même pas de marge pour innover sur des aspects comme le choix des produits ou les horaires d’ouverture.
Quand on collecte en ligne les prix des services et des produits, on voit vraiment beaucoup de choses intéressantes, et la plupart sont des combines au détriment du client.
Je pense qu’il est temps que l’UE oblige par la loi les entreprises à fournir leurs données de prix via des API standardisées. Tout le monde y gagnerait et cela permettrait de limiter ce genre de combines.
J’ai effectivement créé un scraper pour les forfaits vacances de Disney World, et j’ai aussi découvert une façon de trouver de meilleures offres en achetant séparément des billets d’hôtel pour seulement une partie du séjour complet. Un jour, je compte en faire un indice d’inflation des vacances.
1 - https://mousetrack.co.uk
C’était un article vraiment intéressant. C’est épuisant d’évaluer les prix des produits alimentaires et d’adapter ses courses pour optimiser le temps et le coût ; avec un grand jeu de données comme celui-ci, cela pourrait devenir beaucoup plus simple.
Je me demande s’il existe une analyse de prix similaire pour les États-Unis.
Bien sûr, les marges varient selon les articles dans le magasin, mais presque tous les aliments non préparés et de longue conservation font partie des catégories aux marges les plus faibles.
Winco, Aldi et Lidl sont aussi des enseignes alimentaires connues pour leurs marges extrêmement faibles.
Je ne sais pas ce qu’il en est des autres serveurs Mastodon, mais celui-ci a plusieurs années-lumière d’avance sur Twitter en matière de lisibilité.
J’espère qu’un jour quelqu’un écrira un livre révélant précisément ce qui ne va pas dans cette entreprise et dans son approche de la conception produit.
La première a plus de ressources, mais le second est davantage guidé par sa mission.
Il existe aussi une « vue avancée » à plusieurs panneaux, similaire à TweetDeck.
Certaines personnes préfèrent le mode sombre, mais sur les appareils à encre électronique, c’est vraiment horrible à lire. Comme on ne peut pas changer de thème sans se connecter à une instance spécifique, j’ai ouvert une demande à ce sujet.
Excellent fil, qui montre la puissance de citoyens intelligents et compétents techniquement.
Mon pronostic : il ne se passera rien. Les autorités publiques de régulation censées surveiller cela concluront probablement qu’il n’y a pas de problème. À mon avis, elles sont déjà achetées, puisqu’après leur carrière politique elles iront travailler comme lobbyistes ou « consultants » pour ces distributeurs.
Il y a environ six ans, les trois principaux opérateurs télécoms autrichiens ont augmenté leurs prix ensemble exactement au même moment ; l’autorité publique compétente a clos l’affaire en disant qu’il n’y avait aucune preuve que les trois entreprises s’étaient concertées pour fixer les prix et que cela pouvait être une coïncidence.
Ce pays est tellement corrompu qu’il est pourri jusqu’à la racine. En tant que consommateur et contribuable, je me fais légalement dépouiller de tous les côtés avec la bénédiction du gouvernement, et j’imagine que c’est similaire dans beaucoup d’autres pays.
En tant qu’Autrichien, j’ai envoyé ce lien à quelques journalistes et amis. Je me demande comment transformer cela en action concrète pour faire bouger la classe politique et aider aussi les consommateurs.