- La consommation d’énergie d’une requête d’IA peut sembler minime, mais à l’échelle mondiale, l’accumulation de milliards de requêtes atteint un niveau qui a un impact réel sur le réseau électrique
- Les grandes entreprises de l’IA accélèrent leurs investissements dans les data centers et les infrastructures électriques à hauteur de dizaines de milliards de dollars, et certaines prévoient même de construire des centrales nucléaires
- La consommation énergétique des requêtes d’IA varie de plusieurs centaines de fois selon la taille et la complexité du modèle, et pour les modèles fermés, la consommation exacte est presque inconnue
- L’électricité utilisée par l’IA dépend en grande partie de réseaux électriques alimentés par des énergies fossiles, ce qui entraîne une intensité carbone 48% plus élevée que la moyenne
- Si l’usage de l’IA continue de s’étendre, on prévoit qu’en 2028, plus de la moitié de l’électricité des data centers américains sera utilisée pour l’IA
Making the Model: le point de départ de l’entraînement des modèles d’IA
- Les modèles d’IA sont entraînés pendant plusieurs mois dans des data centers, en consommant des dizaines de gigawattheures d’électricité
- Le seul entraînement de GPT-4 a nécessité plus de 50 millions de dollars et 50GWh d’électricité, soit de quoi alimenter tout San Francisco pendant 3 jours
- L’inférence représente 80~90% de la consommation totale d’électricité de l’IA, et le rôle des data centers centrés sur les GPU est crucial
- Le GPU H100 de NVIDIA est au cœur des tâches d’inférence de l’IA, fonctionnant sous forme de clusters interconnectés par milliers
A Query: l’énergie consommée par une seule question
- Même pour un même modèle d’IA, la consommation d’énergie et les émissions carbone varient énormément selon le type de question, l’emplacement et l’heure
- Le modèle Llama 3.1 8B consomme en moyenne 114 joules (J), tandis que Llama 3.1 405B en consomme 6 706 joules
- Avec Stable Diffusion 3 Medium, la génération d’une image consomme 2 282 joules, et une image haute définition ou une vidéo peut nécessiter des dizaines de milliers à des millions de joules
- La génération vidéo consomme plus de 700 fois plus d’énergie que l’image, et si la création vidéo par IA se démocratise, une forte hausse de la consommation électrique est possible
Fuel and Emissions: d’où vient l’électricité utilisée par l’IA
- Les data centers d’IA sont difficiles à faire fonctionner avec des énergies intermittentes comme le solaire ou l’éolien, et utilisent en moyenne une électricité à plus forte intensité carbone
- Exemple : en 2024, aux États-Unis, 60% de l’électricité provenait des énergies fossiles, 20% du nucléaire, et les 20% restants des énergies renouvelables
- Comme entre la Californie et la Virginie-Occidentale, il existe selon les régions des écarts d’émissions carbone proches du double
- Meta, Google et Amazon, entre autres, ont annoncé des investissements communs pour développer des centrales nucléaires, mais leur mise en service prendra des décennies
AI around the corner: l’arrivée de l’IA grand public et la hausse de la demande énergétique
- ChatGPT est actuellement le 5e site le plus visité au monde, avec plus d’un milliard de requêtes par jour
- Selon certaines estimations, une requête GPT consomme 1 080 joules, soit 1 090GWh par an, l’équivalent de l’électricité nécessaire pour alimenter 10 400 foyers américains pendant un an
- En incluant la vidéo et l’image, plus de 35GWh supplémentaires par an s’ajoutent, et ce chiffre devrait encore augmenter avec l’essor des agents IA, du mode vocal et de l’IA fondée sur la reconnaissance vidéo
- Un futur où l’IA exécute elle-même des tâches et se personnalise à partir des données utilisateur ne permet plus d’expliquer la demande énergétique à la seule échelle de la requête unitaire
The Future Ahead: prévisions de demande énergétique jusqu’en 2028
- Les data centers américains dédiés à l’IA ont consommé 76TWh en 2024, soit l’équivalent de 7,2 millions de foyers
- D’ici 2028, leur consommation devrait atteindre 165~326TWh, soit l’équivalent de 22% de la consommation électrique de l’ensemble des foyers américains
- Cela correspond à la même quantité d’émissions carbone que 300 milliards de miles parcourus en voiture, et la part des data centers dans la consommation électrique passerait de 4,4% à 12%, soit un triplement
- SoftBank, OpenAI et d’autres prévoient des investissements de l’ordre de centaines de milliards de dollars dans les data centers et les infrastructures électriques, avec la construction, partout dans le monde, d’infrastructures de la taille de terrains de football
Transparency Gap: absence de publication des chiffres et charge pour les citoyens
- La plupart des entreprises d’IA ne publient pas la consommation énergétique de l’inférence de leurs modèles, ce qui entraîne une imprévisibilité pour le public
- Même l’Energy Information Administration (EIA) américaine ne traite pas l’IA comme une catégorie industrielle distincte, ce qui laisse les statistiques insuffisantes
- Selon un rapport de l’État de Virginie, le coût énergétique des data centers pourrait augmenter la facture d’électricité des ménages de 37,5 dollars par mois
- Le coût de l’infrastructure de l’IA pourrait être supporté par les citoyens, d’où la nécessité d’un débat de société à ce sujet
2 commentaires
Ça fait réaliser à quel point Google Gemini, qui tourne sur ses propres TPU, est impressionnant...
Avis Hacker News
Partage d’un lien http://archive.today/mnHb8
Mention de l’annonce par des entreprises tech comme Meta, Amazon et Google d’objectifs de recours au nucléaire pour répondre au problème des énergies fossiles, avec l’explication selon laquelle les trois entreprises ont signé un engagement visant à tripler la capacité nucléaire mondiale d’ici 2025, mais cette date paraît assez étrange au vu de l’article d’hier ; il s’agit en réalité de 2050, fait-il remarquer. Malgré ce genre d’anomalie dans l’article et l’abus de sources « expertes », il juge positivement le fait que quelqu’un ait au moins essayé de quantifier ce sujet
Le point le plus étrange de cet article est que les géants de la tech refusent de publier ce genre de données ; il ne faut pas laisser les experts se contenter de spéculer ; la société doit avoir accès aux informations sur des décisions qui ont un impact mondial
Il se demande si ces passages étranges sont de simples coquilles, ou s’ils sont vraiment aussi bizarres qu’ils en ont l’air
Il y a une époque où, quand on postait sur Usenet, il y avait toujours un avertissement du genre : « Ce programme envoie des messages sur des milliers d’ordinateurs à travers le monde. Votre message engendre un coût de plusieurs centaines ou milliers de dollars sur le réseau. Veuillez vérifier soigneusement que vous voulez vraiment le publier. » Il imagine qu’il faudrait peut-être un avertissement similaire dans les clients LLM aujourd’hui, qui calculerait combien de carbone atmosphérique chaque requête génère
Dans certains pays, il existe une culture du « rolling coal » (émissions excessives de fumée noire par les voitures) ; inquiétude qu’un tel avertissement puisse au contraire produire l’effet inverse
Le message cité transmet en fait une idée inverse ; si ce genre d’avertissement a fini par disparaître, c’est probablement parce que les coûts ont énormément baissé ; il est possible que la même chose s’applique à l’IA
Cela lui rappelle ces énormes messages en pied d’e-mail invitant à réfléchir à l’impact environnemental avant d’imprimer, alors qu’en pratique ils faisaient parfois consommer une page supplémentaire inutilement
Il trouve ce message d’avertissement intéressant : le message lui-même ne coûte pas grand-chose, mais ce sont les ordinateurs qui l’acheminent qui créent le coût ; et plus le volume de messages transmis augmente, plus le coût unitaire baisse
Il souligne qu’il est injuste que seule la technologie IA soit critiquée pour sa consommation d’énergie, à moins d’apposer ce type d’avertissement sur absolument tout
Selon lui, l’essentiel est d’internaliser le coût des émissions dans le prix de l’électricité ; les états d’âme individuels des utilisateurs dispersent le débat ; comme la demande va de toute façon exploser avec l’électrification des transports, du chauffage et de l’industrie, il faut surtout décarboner rapidement l’électricité
D’accord, mais la réduction de la consommation et l’amélioration de l’efficacité sont aussi des éléments importants de la transition énergétique ; si on n’utilise pas quelque chose, il n’est pas nécessaire de le produire
Pour internaliser ces coûts, encore faut-il que la société se mette d’accord sur ce que « coûte » réellement une émission ; dans les faits, rendre l’électricité extrêmement abondante et efficace est probablement une voie plus simple, car il est bien plus difficile d’améliorer la société elle-même
« DeepSeek fait 600 milliards de paramètres, mais en réalité il s’agit d’une architecture mixture-of-experts, donc seulement environ 12,5 % sont activés par token (si je me souviens bien) » ; selon lui, ne pas le préciser nuit à la crédibilité du texte. Il partage l’analyse qu’il juge la plus fiable sur la consommation énergétique du texte (lien epoch.ai) : une réponse moyenne à une question générale consommerait environ 0,3 Wh, jusqu’à 40 Wh pour un contexte maximal ; la plupart des usages sont bien en dessous, donc la consommation énergétique du texte en elle-même reste faible au regard de son utilité. En revanche, la génération vidéo consomme énormément d’énergie. Il aimerait voir ce type d’analyse chiffrée aussi pour la génération de code basée sur les LLM
Il trouve frappant, dans ce fil, le nombre de commentaires qui justifient une consommation énergétique énorme, alors qu’à l’heure actuelle cette technologie sert massivement à des choses très inutiles (spam textuel et visuel), contraste étonnant avec les débats sur l’énergie à l’époque de la crypto. Il y a aussi une impression que c’est davantage toléré parce que les géants de la tech sont de gros employeurs
L’IA a au moins des bénéfices théoriques, alors que la crypto est gaspilleuse par conception ; mais la structure coût-bénéfice réelle de l’IA reste elle aussi encore inconnue
La consommation énergétique du bitcoin augmente avec son prix, alors que le coût de l’inférence LLM baisse rapidement (lien de référence) ; des entreprises comme Apple et Google tentent aussi d’introduire davantage d’IA dans leurs propres datacenters et sur les appareils eux-mêmes, tout en continuant à développer des algorithmes plus coûteux ; il est possible que la plupart des usages deviennent assez bon marché pour tourner sur des appareils limités par leur batterie comme les laptops et les téléphones
Le parallèle avec le boom de la crypto est intéressant ; une fois qu’un tel mouvement est lancé, il n’est pas facile de revenir en arrière, c’est dans la nature humaine
Il se souvient qu’autrefois, l’ambiance autour de la crypto sur HN n’était pas aussi négative qu’aujourd’hui
Plaisanterie disant que la consommation énergétique de la crypto (en particulier le PoW de Bitcoin) est un vrai gaspillage
Ironie de lire cet article pendant que cette page ne fait apparemment rien, mais fait quand même tourner mon CPU à fond à cause d’un JavaScript douteux
Il aimerait que le navigateur limite strictement la quantité de CPU que chaque page peut utiliser, et demande en plus une autorisation explicite, comme pour la caméra, lorsqu’une page a besoin de davantage de ressources CPU
Avant le déjeuner, cette lecture lui a fait penser à la même chose ; il partage un billet de blog lié à tabdouse, tout en mentionnant que des astuces comme les cgroups existent, sans être totalement satisfaisantes
En ce moment, l’IA ressemble un peu à l’ère des « mainframes » au tout début de l’informatique : de grosses machines remplissant une pièce, consommant énormément d’électricité, tout en offrant moins de performances qu’un smartphone actuel. Il pense qu’on va rapidement voir des modèles plus efficaces et du matériel plus spécialisé ; l’inférence locale via des puces dédiées à l’IA pourrait réduire massivement l’énergie nécessaire à la plupart des tâches, permettant de réserver les grandes ressources de calcul aux problèmes scientifiques complexes, ce qu’il juge significatif
On cite souvent la courbe de progression des CPU (croissance exponentielle), mais en réalité elle ne s’applique presque à aucun autre domaine ; les semi-conducteurs ont pu croître grâce à des conditions extrêmement particulières et favorables, ce qui n’est pas le cas des batteries, de la fusion nucléaire ou de l’informatique quantique. Dans la famille des semi-conducteurs elle-même, tous les fruits à portée de main ont déjà été cueillis, donc l’efficacité de l’IA n’a probablement pas de raison de progresser aussi vite. Une progression lente et graduelle sur plusieurs décennies est plus plausible ; il n’existe pas de solution miracle qui ferait soudain disparaître le besoin de milliards de paramètres et de milliers de milliards d’opérations. Peut-être que l’informatique photonique offrirait une piste ?
Personnellement, il ne comprend pas bien l’argument des « puces dédiées à l’IA » : les LLM sont justement une technologie conçue pour bien fonctionner sur GPU, donc le matériel existe déjà ; le problème est que les GPU deviennent de plus en plus gros, chauds et gourmands en énergie. S’il existait déjà quelque chose de meilleur que les GPU, on y serait passé ; si l’architecture permettait d’obtenir une meilleure efficacité en revenant aux CPU, cela aurait déjà évolué dans ce sens
Il est surpris de voir qu’il peut faire tourner assez facilement de petits modèles Gemma sur son vieux laptop de 7 ans ; il imagine qu’on pourrait gagner en efficacité en ne confiant que certaines tâches au LLM et en laissant le reste à des programmes classiques
Le meilleur article qu’il ait lu jusqu’ici sur la consommation énergétique de l’IA ; il est particulièrement frappé par la réticence de la big tech à fournir les données nécessaires à la prise de décision collective ; il recommande la série de podcasts Data Vampires, qui creuse le sujet en profondeur
Le passage de l’article indiquant qu’après l’adoption de l’IA en 2017, les datacenters ont été construits autour de matériels très énergivores, doublant leur consommation électrique d’ici 2023, est intéressant. Mais l’essor réel de l’IA générative a surtout commencé après l’arrivée de ChatGPT en novembre 2022 ; la majeure partie de la croissance de l’IA entre 2017 et 2022 n’était probablement pas de l’IA générative
2017 était l’année de publication de « attention is all you need » et l’année suivant la victoire d’AlphaGo sur Lee Sedol ; dans l’industrie, les signes avant-coureurs étaient déjà là. OpenAI a simplement trouvé l’adéquation au marché en 2022 ; le secteur n’était pas en train d’errer sans direction
C’est aussi à cette époque que l’usage des GPU pour le machine learning a vraiment commencé à se généraliser
Meta intégrait déjà activement l’IA dans tous les pans de ses services, de la recherche aux recommandations en passant par les graphes ; grâce à cela, avant même l’engouement pour les LLM, l’entreprise disposait déjà de dizaines voire de centaines de milliers de GPU, ce qui l’a placée dans une position favorable pour mener des projets majeurs comme Llama