- Dans la Silicon Valley, une culture qui considère l’AGI (intelligence artificielle générale) comme un objectif réalisable s’est largement répandue
- En interne chez OpenAI, une conviction s’est formée autour de la « pure language hypothesis », selon laquelle l’extension des modèles de langage pourrait mener à l’AGI
- Cette croyance sert à justifier une expansion massive des data centers ainsi que des problèmes d’exploitation environnementale et du travail
- La logique de valeur espérée (Expected Value) appliquée à l’AGI repose sur des estimations de probabilité et de valeur sans fondement, tout en ignorant les dégâts environnementaux réels et les coûts sociaux
- Il faut abandonner le fantasme de l’AGI et adopter une approche d’ingénierie concrète qui résout les problèmes avec des modèles petits et orientés objectif
La croyance en l’AGI et la culture d’OpenAI
- Des personnes liées à OpenAI croient réellement que l’AGI peut conduire l’humanité soit à la prospérité, soit à la destruction
- Elon Musk a décrit Demis Hassabis comme un « méchant cherchant à dominer le monde », en présentant OpenAI comme le « bien » et DeepMind comme le « mal »
- Ilya Sutskever disait aux employés « Feel the AGI » et organisait un rituel consistant à brûler une poupée en bois symbolisant l’AGI
- Ces comportements montrent que l’imaginaire de la science-fiction est devenu une croyance dominante dans la Silicon Valley
La « pure language hypothesis » et l’extension des LLM
- Selon le livre Empire of AI de Karen Hao, GPT-2 reposait sur la « pure language hypothesis »
- Puisque les humains pensent et communiquent par le langage, l’idée est que des données linguistiques seules suffiraient pour atteindre l’AGI
- À l’inverse, la « grounding hypothesis » soutient que l’AGI doit percevoir le monde
- Le passage réussi de GPT à GPT-2 a renforcé chez OpenAI la conviction qu’avec davantage de données, de paramètres de modèle et de ressources de calcul, il serait possible d’atteindre l’AGI
La course à l’échelle et les problèmes environnementaux et sociaux
- La croyance en l’AGI et les performances des LLM servent à justifier la construction de data centers à grande échelle
- Certaines installations utilisent des centaines de litres d’eau par seconde et font fonctionner des générateurs à gaz polluants en raison du manque d’électricité
- Cela entraîne une consommation électrique à l’échelle d’une ville entière et une hausse des émissions de CO₂
- Pour garantir des sorties sûres de ChatGPT, des travailleurs chargés de la censure et du nettoyage des données subissent exploitation et traumatismes psychologiques
- Avec la hausse de la demande en données, on ratisse l’ensemble d’Internet sans discrimination, puis on contrôle les résultats via RLHF (Reinforcement Learning from Human Feedback)
Les problèmes de la logique de valeur espérée
- La valeur espérée (Expected Value) est souvent invoquée pour justifier le développement de l’AGI
- La logique consiste à dire que « même avec 0,001 % de probabilité, si la valeur potentielle est énorme, l’EV reste très élevée »
- Mais de tels calculs reposent sur des probabilités et des valeurs arbitraires, impossibles à vérifier
- À l’inverse, la destruction environnementale et les coûts sociaux existent sous forme de valeur négative certaine et de dommages présents
Revenir à une ingénierie réelle
- Les ingénieurs doivent résoudre les problèmes de manière efficace, efficiente et sans nuire
- L’approche qui traite les LLM comme de l’AGI échoue sur ces trois critères
- Elle entraîne un gaspillage excessif de calcul, l’exploitation du travail et des dommages environnementaux
- Il faut sortir du fantasme de l’AGI et évaluer les LLM et les modèles génératifs comme des outils destinés à résoudre des problèmes spécifiques
- Utilisation de petits modèles génératifs orientés objectif ou de modèles non génératifs (discriminatifs)
- Nécessité d’une ingénierie concrète, fondée sur l’analyse coûts-bénéfices et les compromis techniques
3 commentaires
Avis sur Hacker News
Un conseil aux sceptiques de l’IA : mieux vaut éviter la polémique sur la consommation d’eau des data centers
Des formulations comme « des millions de litres par an » peuvent sembler effrayantes hors contexte, mais cela reste minime comparé à l’agriculture ou aux terrains de golf
Discuter de la consommation d’énergie ou des émissions de CO₂ est légitime, mais insister uniquement sur l’eau nuit à la crédibilité de l’argument général
Cela dit, j’ai appris ensuite que les data centers utilisent souvent de l’eau potable qui ne peut pas servir à l’agriculture
Malgré tout, présenter des chiffres comme « des millions de gallons » sans contexte reste à mes yeux un antipattern
On dirait que la discussion technique a dérivé vers une forme de politique identitaire
Sur HN, il faudrait laisser de côté les postures politiques et débattre sur des bases techniques
Cette attitude est probablement une réaction à la surpromotion de l’IA
si la demande augmente fortement, les infrastructures locales d’approvisionnement pourraient être renforcées, ce qui pourrait faire baisser le prix de l’eau potable
Selon son complément, la critique selon laquelle « l’IA n’utilise que de l’eau précieuse » inverse en réalité le problème
Il y avait le cas d’une ville au Chili où un data center de Google aurait aggravé la sécheresse locale,
et ailleurs, la situation était apparemment si grave qu’on mélangeait de l’eau de mer à l’eau potable
Utiliser autant d’eau qu’une ville entière me semble clairement problématique
Les terrains de golf comme les data centers doivent tous deux assumer leurs coûts externes,
et si cela devient non économique dans les régions arides, tant mieux
Si une eau peut servir à l’agriculture, elle peut aussi servir au refroidissement
Le problème de la consommation énergétique est lui aussi exagéré — au final, ce sont les énergies renouvelables bon marché qui seront compétitives
Je pense que la limite des LLM est un problème matériel
Les neurones du cerveau humain traitent simultanément des milliers d’entrées et de sorties, alors que les neurones des LLM n’ont qu’une seule entrée et une seule sortie
Le cerveau humain fonctionne avec environ 20 W, tandis qu’un LLM a besoin de plusieurs MW
Avec des GPU ou des TPU, il sera difficile d’atteindre l’AGI ; il faudra un nouveau paradigme matériel complet
Ce n’est pas simplement un problème de manque de calcul
Dans un environnement dédié uniquement à l’activité intellectuelle, il n’est peut-être pas nécessaire d’avoir autant de neurones
Le problème n’est pas l’échelle mais l’architecture de placement (Electronic Design Automation)
Voir l’article Wikipédia sur l’EDA
Le cerveau possède de multiples voies d’entrée et divers modes de signalisation, avec une complexité de conception bien supérieure
Le discours sur l’AGI ressemble à une extension d’une pulsion religieuse
L’être humain continue de chercher une réponse absolue qui résoudrait tous les problèmes
Si on la réprime, elle revient sous une forme pire
La méditation, la retenue et une éthique envers les autres constituent ma « religion » personnelle
C’est une tentative de recréer par la technologie des systèmes naturels comme le soleil ou le cerveau
Comme dans la religion, les structures de pouvoir utilisent les croyances pour maintenir leur contrôle
La crédulité et l’escroquerie humaines se répètent à toutes les époques
Référence : Extraordinary Popular Delusions and the Madness of Crowds
Une société où la religion disparaît passe d’abord par une étape où seule l’enveloppe des valeurs subsiste,
puis bascule vers une phase sans religion qui crée un vide moral
Certains veulent se soumettre à l’IA, mais « parce que l’IA l’a dit » est une foi sans inspiration
Moi aussi, en tant que technicien, je veux une résolution de problèmes efficace et sans nuisance, mais la réalité est complexe
J’ai configuré le Bluetooth sur un Raspberry Pi grâce à l’aide de GPT et Claude
Stack Overflow et les forums ne sont plus aussi actifs qu’avant, et la documentation est éparpillée
La technologie est devenue si complexe qu’on finit par devoir dépendre des LLM
mais à long terme, une société impossible à maintenir sans IA ne peut pas durer
La technologie devra revenir vers plus de simplicité
Voir par exemple ArchWiki Bluetooth ou Debian BluetoothUser
En entreprise, on voit déjà apparaître des architectures où des agents IA exécutent les outils à la place des humains
Le danger, au final, est que les humains ne comprennent plus la logique interne
En revanche, ils ont encore des limites fondamentales qui les empêchent de remplacer entièrement les humains
Et il est tout à fait possible que les LLM suivent le même chemin
Une partie du secteur affirme que les LLM sont une impasse fondamentale,
mais reste incapable de reconnaître la réalité à cause des actions en bourse et de la réputation en jeu
les LLM pourraient être une technologie intermédiaire vers l’AGI
Les LLM pourraient devenir un composant clé d’un système AGI
Grâce à Whisper, mon travail de sous-titrage vidéo a été radicalement raccourci
Ce qui prenait des heures se fait maintenant en quelques minutes
Grâce à MacWhisper et à son excellente UI, l’outil est aussi beaucoup plus accessible
Par exemple, des avocats utilisent des LLM pour retrouver des éléments disculpants
Au lieu de vouloir tout étendre à l’excès, il faut miser sur les usages pratiques
D’ici quelques années, on vivra à une époque où des LLM personnels tourneront à l’échelle d’un laptop
Je pense que parler d’exploitation des modérateurs de contenu est exagéré
C’est un travail de modération d’Internet qui existe depuis 30 ans
Cela peut être pénible, mais ce n’est ni nouveau ni spécialement horrible
C’est un rôle nécessaire, indépendamment de la quête de l’AGI
Je trouve rafraîchissant de voir une discussion réaliste sur l’IA
Il ne s’agit pas de dire que la technologie des transformers est inutile,
mais que le vrai problème est l’hyperbole excessive autour du « l’AGI arrive bientôt »
HN a bien résisté à la plupart des modes, mais cette fois-ci semble faire exception
Il faut relever ce défi non pas parce qu’il est facile, mais parce qu’il est difficile
Même si l’AGI est un fantasme, le processus peut permettre de résoudre des problèmes utiles
Les émissions carbone des data centers sont souvent exagérées,
et à long terme, des data centers alimentés par une énergie propre seront plus économiques
C’est un fardeau direct pour les classes populaires
Sur ce point, l’IA actuelle peine encore à convaincre
DeepMind et Demis Hassabis produisent bel et bien de véritables résultats scientifiques
Ex. : AlphaFold, AlphaEvolve, etc.
Vu ces travaux, dire simplement que « l’IA est un fantasme » n’est pas équitable
L’idée centrale du texte est de critiquer l’obsession pour l’AGI
Hassabis paraît sincèrement intéressé par l’avancée de la science
À l’inverse, certaines entreprises ressemblent surtout à de la PR pour faire de l’argent
On parle d’AGI, mais au final tout le monde raconte surtout ce qu’il a fait lui-même.
Au lieu de ramener des arguments bizarres sur l’ingénierie, comme les problèmes environnementaux ou d’exploitation du travail, j’aimerais presque qu’ils publient carrément des rapports disant que ça va s’effondrer et qu’ils montrent l’exemple en prenant des positions short..