1 points par GN⁺ 4 시간 전 | 1 commentaires | Partager sur WhatsApp
  • Après l’annonce des résultats du hackathon sur les benchmarks d’AGI de Kaggle et Google DeepMind, des participants ont demandé la publication du processus de jugement et un réexamen, en invoquant des problèmes de calcul des scores et de reproductibilité de MEDLEY-BENCH, classé premier
  • MEDLEY-BENCH conclut qu’à mesure que la taille des modèles augmente, seule l’« évaluation » s’améliore tandis que le « contrôle » stagne, mais ses critiques rétorquent que les deux indicateurs progressent de façon similaire et que les mesures de base affichent elles aussi de fortes corrélations, de ρ=0,79 à 0,94
  • L’examen du code a mis en évidence 33 pondérations manuelles sans justification ni étude d’ablation, 30 critères de jugement par LLM non validés, une logique traitant une faible confiance comme une opposition, ainsi qu’une méthode de génération de données qui attribue le même ID à des affirmations différentes avant de les agréger
  • MEDLEY-BENCH, GAUGE et Metaproteus ne permettent de consulter qu’un score unique, sans traces d’exécution ; LearningBench est lui aussi assez complexe pour qu’il faille plusieurs heures afin de vérifier un cas individuel, ce qui pousse les participants à demander le classement complet et les résultats d’évaluation par critère
  • Kaggle a répondu qu’environ 20 juges humains avaient évalué indépendamment toutes les propositions primées, avec au moins 2 juges par proposition et 3 à 4 pour certaines, et que la période de jugement avait été portée de 1,5 à 3 mois, mais n’a pas publié les scores par soumission ni le détail du processus de sélection

Organisation du hackathon et résultats

  • Kaggle et Google DeepMind ont coorganisé le hackathon Measuring Progress Toward AGI: Cognitive Abilities, visant à évaluer le raisonnement, l’action et le jugement des modèles de pointe au-delà de la simple restitution mémorisée
    • Plus de 1 000 équipes ont soumis des benchmarks dans 5 pistes cognitives
    • Chacun des 4 grands prix était doté de 25 000 dollars, et chacun des 10 lauréats de piste de 10 000 dollars

Les 4 lauréats du grand prix

  • MEDLEY-BENCH évalue si un modèle reconnaît sa propre incertitude sous pression sociale, maintient ses croyances face à une pression erronée et les révise en présence d’une réfutation valide
  • LearningBench mesure l’apprentissage au moment de l’inférence, c’est-à-dire la capacité à apprendre les règles d’un système textuel inédit au cours d’une seule conversation, plutôt qu’à s’appuyer sur des connaissances préentraînées
  • GAUGE utilise un escalier métacognitif en trois étapes : prédiction de la difficulté du problème, résolution avec niveau de confiance, puis soumission ou abstention selon une récompense de théorie des jeux
    • Sur 270 items, un modèle de pointe a obtenu la meilleure exactitude et la meilleure calibration, mais ne s’est jamais abstenu, montrant que la capacité de surveillance et le contrôle de l’action peuvent être dissociés
  • Metaproteus évalue non pas les connaissances du monde, mais à quel point un modèle connaît sa propre distribution de sortie et ses tendances d’échantillonnage
    • Après avoir généré des sorties d’association de mots, une nouvelle instance du modèle doit prédire ses propres réponses, ce qui permet de distinguer les échecs consistant à sous-estimer des sorties données avec assurance ou à approuver excessivement des mots qui ne sont même pas générés

Lauréats des 5 pistes cognitives

  • Fonctions exécutives

    • Turn Bench mesure séparément la planification, l’exécution, la mémoire de travail, l’inhibition et la flexibilité adaptative à travers des jeux au tour par tour aux règles volontairement simples
    • Des variantes de jeux aux exigences opposées permettent de distinguer une véritable flexibilité cognitive de comportements par défaut qui tombent par hasard juste dans une situation donnée
    • Les fonctions exécutives y sont traitées non comme une capacité unique augmentant avec la taille du modèle, mais comme un profil dépendant du contexte
    • SecureExec-Bench mesure si un modèle résiste aux manipulations adversariales et maintient les procédures de sécurité dans des environnements sensibles, comme la réponse à incident et la gestion d’identifiants
  • Apprentissage

    • GrammarGym, fondé sur l’apprentissage de grammaires artificielles en psychologie cognitive, évalue si un modèle acquiert de nouvelles règles compositionnelles dissociées du sens
    • Comme les grammaires sont générées à la volée, il permet de tester la capacité d’apprentissage sans s’appuyer sur des connaissances mémorisées
    • EphLangBench génère à chaque session un langage de programmation dont les mots-clés, opérateurs et notations infixe, préfixe et postfixe sont randomisés
    • Le modèle doit apprendre la nouvelle grammaire en ne lisant que la spécification en contexte, résoudre des problèmes algorithmiques et corriger ses erreurs sur plusieurs tours grâce aux retours du compilateur
    • Sur 10 modèles et 200 problèmes, les taux de réussite s’étalent de 7 à 89 %, révélant des écarts de performance bien plus importants que sur HumanEval
  • Métacognition

    • ESFP Benchmark évalue si un modèle peut basculer entre une posture relayant l’avis d’experts et une posture de raisonnement propre
    • La capacité à passer du mode « outil » au mode « agent » varie fortement selon les modèles, et l’instruction tuning pousse les modèles vers un rôle d’outil qui réprime l’auto-expression autonome
    • Metacognitive Calibration Benchmark teste conjointement la capacité à formuler des hypothèses à partir d’informations limitées de type évaluation clinique, à distinguer preuves et suppositions, et à juger qu’il faut davantage d’informations lorsque celles-ci manquent
  • Cognition sociale

    • HedgeDecode mesure la capacité à comprendre des intentions exprimées implicitement par euphémisme ou par souci de préserver la face, puis à répondre de manière socialement appropriée sans exposer les formulations protectrices de l’utilisateur
    • AdvisorBench évalue si l’IA fournit des conseils de moindre qualité aux utilisateurs qui communiquent avec un faible niveau de littératie
    • Il mesure si la qualité, la profondeur et l’applicabilité des conseils se dégradent selon le mode de communication
  • Attention

    • RIAC mesure séparément l’effondrement attentionnel induit par la répétition, lorsque des modèles capables d’extraire des valeurs dans des phrases propres échouent une fois entourés de tokens perturbateurs répétés
    • ABC évalue l’attention sélective sous interférence, à la fois dans le texte et le visuel, et distingue l’attention sensible aux caractéristiques de l’attention sensible aux structures, inspirée de la psychologie Gestalt
    • Des tests sur 15 modèles et 2 160 cas montrent que même des modèles identifiant bien des caractéristiques locales explicites peuvent échouer lorsqu’ils doivent trouver les bons groupes, régions ou unités structurelles

Controverse sur l’interprétation des résultats de MEDLEY-BENCH

  • Thomas Werkmeister critique MEDLEY-BENCH, premier grand prix, estimant qu’il ne satisfait pas les critères de jugement annoncés : qualité, défendabilité, clarté et nouveauté
  • L’écran de comparaison des modèles du Kaggle Benchmarks SDK n’affiche qu’un score unique, ce qui rend difficile la vérification du processus de collecte des données ou des traces d’exécution des conversations
  • Le premier résultat est interprété comme montrant que, lorsque la taille du modèle augmente, l’indicateur orange d’« évaluation » progresse tandis que l’indicateur bleu de « contrôle » reste plat ; les critiques estiment au contraire que les deux courbes et les autres mesures suivent la même tendance
    • Certains répondent aussi que, dans la famille Gemma, le graphique semble montrer que le contrôle s’améliore davantage que l’évaluation
    • L’article complémentaire rapporte des corrélations entre les mesures de base de ρ=0,79 à 0,94
  • MEDLEY-BENCH conclut que l’entraînement standard des LLM favorise les capacités d’évaluation plutôt que de contrôle, puis traite ailleurs l’évaluation comme la plus faible, relativement, des quatre capacités de base, ce qui est critiqué comme une contradiction interne
  • Si les quatre capacités évoluent presque ensemble, il n’est pas non plus clair qu’elles soient réellement mesurées séparément

Problèmes de calcul des scores et de génération des données

  • Un examen supplémentaire du code montre qu’un total de 33 pondérations manuelles est utilisé pour combiner les scores
    • 24 servent au calcul de T1, T2 et T3, 8 au calcul dans T2 de la variation sociale par rapport au privé, et 1 à l’agrégation de l’élément d’équilibre MMS
    • Aucune justification ni étude d’ablation n’est fournie pour ces pondérations
  • T3 utilise au total 30 critères cognitifs en une ligne, à raison de 3 par catégorie de jugement LLM sur 10, mais il n’a pas été testé s’ils capturent réellement les capacités visées
  • Le prompt traite une faible confiance dans une affirmation comme une opposition à cette affirmation
    • Les critiques estiment qu’on peut avoir une faible confiance dans une affirmation jugée provisoirement correcte, et que l’opposition n’est pas la même chose que la confiance dans la proposition contraire
  • Comme chaque modèle rédige lui-même les affirmations 1 à 5, il a été constaté que, même pour le même cas et le même ID d’affirmation, le claim_text peut varier
    • Pour C4 dans KA_CR_001, des contenus différents ont été associés : injection SQL, authentification interne et VPN, gestion de la casse dans une liste d’autorisation, ou risques de maintenance futurs
    • Certains modèles produisent un claim_text à null ou moins de 5 affirmations
  • Les niveaux de confiance d’affirmations différentes sont agrégés sous le même ID pour produire une confiance centrale, une position majoritaire et une distribution des positions, ensuite transmises au prompt Step B Social
    • Le modèle reçoit les avis d’autres modèles pouvant porter sur un contenu différent de ses propres affirmations 1 à 5, puis doit réviser ses affirmations initiales
    • Comme des pondérations manuelles et des jugements par LLM sont ensuite appliqués, les critiques concluent qu’il est difficile de faire confiance à la validité des métriques finales
  • Les critiques estiment qu’il aurait fallu valider à petite échelle puis étendre, et qu’un examen approfondi d’un seul des 30 critères de jugement LLM aurait déjà pu produire des résultats utiles

Exigences de reproductibilité et de transparence du jugement

  • Les documents publiés sont insuffisants pour permettre aux participants de vérifier directement les affirmations des lauréats
    • Le REPRODUCING.md de MEDLEY-BENCH renvoie à un dossier results/ absent du dépôt, et il faut remonter le fil du code et des JSON pour comprendre comment les résultats sont produits
    • LearningBench est celui des grands prix qui exploite le mieux le SDK, mais vérifier humainement un seul cas de jeu comme gated_dual_signal_binding_assoc_learning peut prendre plusieurs heures
    • GAUGE dit utiliser environ 200 cas, mais l’écran du benchmark n’affiche qu’une seule exécution
    • Metaproteus n’affiche lui aussi qu’un score unique sur la page du benchmark, ce qui rend difficile de vérifier directement l’induction des mots et la méthode de mesure
  • Des demandes se multiplient pour publier les éléments suivants afin que plus de 1 000 équipes puissent comprendre leurs faiblesses
    • Le classement des scores de toutes les soumissions
    • Au minimum les scores d’évaluation des lauréats
    • Les éléments ayant effectivement pesé dans le jugement
    • Les scores par critère et les retours par soumission
    • Les filtres d’éligibilité préalables, comme le départage des ex æquo et les disqualifications techniques
  • Les pondérations officielles d’évaluation citées par un participant sont : 50 % pour la qualité du dataset et la conception de la tâche, 20 % pour la qualité rédactionnelle, et 30 % pour la nouveauté, les insights et le pouvoir discriminant
  • Le soumissionnaire d’ATLAS demande la publication des critères détaillés sur lesquels sa proposition a été jugée inférieure aux lauréats, en faisant valoir qu’elle comprenait 540 jeux, 6 types d’apprentissage, 3 niveaux de difficulté, des réponses correctes calculées par programme et un diagnostic des types d’échec
    • Il demande si la nouveauté de paradigmes comme les grammaires artificielles et les langages à usage unique a pesé davantage que le pouvoir discriminant
    • Il réclame aussi de savoir si les exécutions de modèles réservées au personnel servaient à la validation technique ou ont aussi été prises en compte dans le jugement final
  • Un participant ayant enquêté sur l’exécution de modèles par le personnel a comptabilisé 30 éléments pour lesquels une exécution de Claude Fable 5 ou d’OpenAI o3 était visible, sur 680 liens de benchmarks dans les 5 pistes
    • Cette enquête a été rédigée avec une IA agentique, et l’idée que ces exécutions de modèles visaient le jugement relève d’une inférence du participant

Périmètre d’évaluation et intelligence physique

  • Un autre participant estime que les lauréats évaluent surtout l’apprentissage au moment de l’inférence, la métacognition, les fonctions exécutives, l’attention et le raisonnement social dans des environnements principalement textuels, de théorie des jeux ou générés procéduralement
  • Il juge difficile de trouver parmi les lauréats un benchmark d’intelligence physique traitant des vecteurs de force, du couple, de la biomécanique, de la cinématique, des propriétés des matériaux ou de causalités issues de traces d’exécution physique dans le monde réel
  • Il suggère de mettre en place à l’avenir un pipeline d’évaluation multimodal dédié, capable d’intégrer mouvement, forces, biomécanique, interactions matérielles et informations de capteurs réels
  • Certains demandent aussi d’aligner la portée de la formulation large de l’AGI — évaluer la capacité à « raisonner, agir et juger » — avec la portée réelle des 5 pistes cognitives et d’une structure d’évaluation centrée sur les réponses à des prompts

Réponse de Kaggle et points restant en suspens

  • Kaggle indique avoir coorganisé ce hackathon avec Google DeepMind et qu’environ 20 juges issus des deux organisations y ont participé
  • Le hackathon s’est terminé le 16 avril ; le jugement devait initialement durer 1,5 mois, jusqu’au 31 mai, mais a été prolongé de 1,5 mois supplémentaire, jusqu’au 13 juillet
  • Toutes les propositions primées ont été examinées par au moins 2 juges humains, et certaines ont été notées indépendamment par 3 à 4 personnes selon les critères d’évaluation
  • Kaggle reconnaît qu’il existe une part de subjectivité humaine dans les hackathons évaluant des soumissions qualitatives, mais affirme avoir réduit les biais potentiels grâce à plusieurs jugements indépendants
  • Kaggle précise que le jugement n’a pas été confié négligemment à des LLM, mais sa réponse n’inclut pas le classement complet, les scores par critère ni les détails de jugement individuels demandés

1 commentaires

 
GN⁺ 4 시간 전
Avis sur Hacker News
  • L’IA est utile, mais un nombre absurdement élevé de personnes lui délèguent toute leur réflexion et acceptent aveuglément ses réponses
    Il semble très probable que Kaggle ait aussi utilisé l’IA pour évaluer les soumissions et accepté les résultats sans vérification de bon sens

    • Parmi les causes profondes de cette externalisation de la pensée, la pression à « aller vite » joue aussi un rôle important
      Le capital veut des résultats immédiats, donc on ne laisse pas le temps de lire, d’assimiler et de réfléchir
    • On encourage l’équipe à utiliser l’IA/les LLM et à explorer leurs possibilités et leurs limites, mais il devient épuisant de passer en revue des user stories générées par IA dont la moitié, sur 20 éléments, n’ont aucun sens
      Un LLM n’est qu’un outil utile, comme Mr. Meeseeks, pas un dieu ; il faut donc au moins jeter un œil à ce qu’il produit
    • Il est aussi possible qu’ils aient utilisé une injection de prompt pour amener l’IA à se désigner elle-même comme gagnante
    • Si on lui demande la réponse souhaitée, elle la fournit telle quelle ; quand on connaît très peu le domaine, utiliser l’IA paraît donc facile
      À l’inverse, quand on maîtrise bien le domaine, les mauvaises réponses et les erreurs sautent aux yeux : c’est précisément ainsi que se manifeste l’effet Gell-Mann de l’IA
    • Les humains ont toujours aimé déléguer leur pensée aux journalistes télé, à la religion, aux partis politiques, etc. ; à choisir, la confier à l’IA paraît préférable
  • Je ne sais pas si c’est exactement ce concours, mais j’ai l’impression que l’IA a pratiquement mis fin aux hackathons équitables
    En apparence tout semble correct, mais le code de tous les projets est produit par l’IA et jugé par l’IA, et j’ai même vu un projet ayant injecté un prompt disant qu’il était le gagnant finir par gagner réellement
    Avant, on mettait en concurrence des compétences humaines ; désormais, c’est devenu une compétition d’idées, et au final ce sont surtout les initiés qui gagnent

    • Les hackathons étaient déjà injustes avant l’IA. On peut aussi le constater ici : https://news.ycombinator.com/item?id=48468766
      La solution est d’organiser et de rejoindre des hackathons sans prix en argent. Le but ne devrait pas être de gagner, mais de créer quelque chose de chouette, de le présenter et de s’amuser
      Au contraire, comme l’IA permet de prototyper rapidement, les hackathons pourraient même s’améliorer
    • J’aimerais voir un exemple concret d’un projet ayant injecté un prompt pour se faire désigner gagnant et ayant effectivement gagné
    • Je suis content de ne pas être tombé dans les hackathons, et je ne veux pas lier mes activités personnelles de création à un objectif de compétition
      Au travail, je suis payé pour faire ce que j’aime, mais dernièrement on me demande aussi de faire faire ce travail par l’ordinateur
    • À tout le moins, les hackathons avec des prix substantiels sont morts depuis longtemps
    • L’idée d’injecter un prompt pour se faire désigner gagnant est maligne, mais c’est une réalité très démotivante
      Ce serait bien d’organiser séparément des hackathons manuels et des hackathons IA, mais comme dans les jeux, la triche gâche le plaisir
  • Les soumissions IA et les juges IA ressemblent à un couple parfait formé au paradis de l’IA

    • Pour le dire à la manière de Slavoj Žižek, c’est un peu comme brancher un godemiché sur un appareil de masturbation pour les laisser avoir des rapports sexuels à notre place
    • C’est pareil quand une PR rédigée par l’IA est relue par l’IA
  • Depuis les débuts de Kaggle, des gens gagnent des concours par force brute, et s’en plaignent depuis tout aussi longtemps
    Le machine learning consiste fondamentalement à faire générer des modèles par l’ordinateur via la sélection automatique de caractéristiques et l’ajustement d’hyperparamètres, et la plupart des modèles Kaggle étaient déjà des boîtes noires depuis longtemps
    Le modèle gagnant du Netflix Prize n’a pas non plus été utilisé en production pour cette raison ; générer avec un LLM du code qui fabrique une boîte noire n’est donc pas très différent des pratiques existantes

  • Je pensais que Kaggle était un site où l’on téléchargeait des fichiers CSV douteux, du genre consommation annuelle de haricots en Bolivie
    Je me demande s’il a jamais été une référence proposant des travaux originaux ou des données aux sources solides ; ce qui semble seulement inhabituel cette fois, c’est qu’il y avait 25 000 dollars à la clé

  • Je suis Nick, chef de produit de Kaggle Benchmarks et co-organisateur·juge de ce hackathon AGI
    Ce concours a été co-organisé par Kaggle et Google DeepMind ; environ 20 personnes des deux côtés ont participé au jury. Après sa clôture le 16 avril, nous avions initialement prévu 1,5 mois d’évaluation jusqu’au 31 mai, puis nous avons prolongé d’1,5 mois supplémentaire, jusqu’au 13 juillet, afin d’évaluer correctement les participants
    Toutes les propositions gagnantes ont été examinées et notées indépendamment par au moins 2 juges humains, et certaines par 3 à 4, selon la grille de critères publiée sur la page
    L’évaluation de soumissions qualitatives implique une part de subjectivité humaine, mais nous avons cherché à réduire les biais grâce à des critères objectifs et à plusieurs évaluations indépendantes ; même si l’on peut être en désaccord avec les résultats, nous n’avons pas confié le jugement à un LLM de façon irresponsable

    • Les preuves objectives avancées par l’auteur original semblent accablantes pour un observateur neutre ; je me demande pourquoi vous n’y répondez pas directement
    • Je me demande comment il a été vérifié que tous les gagnants ont réellement été examinés par des juges humains
      Les résultats ne semblent pas correspondre à cette explication
  • C’est une bonne méta-leçon que Kaggle devrait retenir
    L’IA excelle dans l’optimisation par hill climbing vers des métriques objectives, mais s’appuyer paresseusement sur des LLM comme juges ne donne pas de bons résultats

    • Les solutions gagnantes sur Kaggle deviennent rarement des solutions d’ingénierie qu’une équipe peut exploiter durablement
      La maximisation des performances d’un modèle sur un objectif mesurable n’est qu’une petite partie du problème global
  • En parcourant les contenus publiés ici et là, la question « alors, qui aurait dû gagner à la place ? » est légitime
    Tous les dossiers se valaient peut-être, ou les autres étaient peut-être pires ; il faut donc connaître le deuxième et les bonnes soumissions pour pouvoir annuler le prix et l’attribuer à un autre participant si une fraude ou une négligence professionnelle est avérée
    Les erreurs et les exagérations pouvaient aussi être des erreurs humaines plutôt que des productions générées par IA ; dans ce cas, l’intensité des critiques pourrait être moindre

    • Un seul cerveau humain n’a pas l’énergie nécessaire pour examiner tous les résidus d’IA qui lui tombent dessus, et ce n’est pas une tâche à la portée d’un mortel
      Même dans les études affirmant que « les experts préfèrent les réponses des LLM », si l’on n’en regarde que quelques-unes, les réponses humaines sont meilleures ; mais s’il faut en examiner 50, on risque fort de juger sur la fluidité des phrases ou la quantité de faits superficiels plutôt que de lire de façon critique
      Ici aussi, les juges semblent avoir attribué des notes sans vraiment lire l’article arXiv de 20 pages ; on peut leur demander des comptes professionnellement, mais émotionnellement, on finit par éprouver de la sympathie
    • Si l’explication est exacte et que toutes les soumissions étaient de ce niveau, personne n’aurait dû gagner
      Il aurait fallu tout disqualifier et que les organisateurs passent longtemps à se regarder dans le miroir pour faire leur examen de conscience
  • Il est regrettable que des espaces comme arXiv et Kaggle, qui fut autrefois pris au sérieux, servent de moyens d’autopromotion
    On comprend l’envie de décrocher un poste dans un labo d’IA, mais déverser des productions médiocres dans des espaces publics nuit plutôt à leur objectif initial

    • Utiliser arXiv pour s’autopromouvoir et Kaggle comme tremplin vers l’industrie existait déjà depuis longtemps ; ce n’est pas un phénomène récent
  • La réaction consistant à dire que « le projet gagnant a clairement de la valeur et a demandé beaucoup d’efforts, donc ne vous inquiétez pas de quelques contradictions ou erreurs et acceptez le résultat » est impressionnante tant elle est absurde
    En fin de compte, cela revient à dire que même un résultat médiocre produit par hallucination a de la valeur et qu’il faut valider sa victoire telle quelle

    • Depuis environ 100 ans, la science-fiction dépeint l’IA comme une intelligence supérieure, fondée uniquement sur une « logique » vague mais universelle, dépourvue de défauts humains comme l’orgueil, la haine, la jalousie ou le désir
      Il est désormais évident que cette hypothèse était infondée, mais des milliards de personnes ont déjà été conditionnées à ne jamais douter des machines
    • Les exigences absurdes des humains, déconnectées du réel, suffisent déjà à épuiser les ingénieurs
      Si des productions manifestement médiocres sont évaluées par d’autres productions médiocres, puis que les critiques sont traités comme de mauvais perdants, toute conversation rationnelle devient impossible
      Le participant a consacré beaucoup de temps, de bonne foi, à expliquer clairement les choses et à envisager qu’il ait pu manquer quelque chose ; mais si ceux qui répandent des résidus statistiques irréfléchis sont récompensés par des juges incapables de faire la différence, ces personnes se fatigueront vite et partiront
      Cette attitude se répand au travail, dans les documents d’entreprise, les relations sociales et les réseaux sociaux ; je veux mener des activités utiles à la vie avec des personnes qui réfléchissent réellement et exercent leur esprit
      Je ne consacrerai ni temps ni attention aux communautés qui tolèrent les productions médiocres, et si l’on ne communique pas de bonne foi, je n’ai aucune raison de faire preuve d’indulgence
      Pour Kaggle, les contributeurs open source et les créateurs de contenu, je n’autoriserai qu’une seule rupture de confiance ; pour mes subordonnés, je leur donnerai plusieurs chances par éthique, tout en assumant d’abord ma responsabilité de manager ; pour les dirigeants de haut niveau, ce sera une seule chance
      La confiance est précieuse, nous devons donc nous demander des comptes mutuellement, quitte à rompre des relations au passage
    • Je ne supporte pas l’attitude consistant à dire « tant que cela apporte de la valeur, cela suffit »
      Il faut éviter de devenir les idiots utiles d’une poignée d’entreprises choyées par les investisseurs, qui déclarent ouvertement vouloir monopoliser le marché et supprimer les activités et emplois de tout le monde