Rapport AI Index 2025

• L’impact sociétal de l’IA n’a jamais été aussi visible, avec une portée que l’on peut qualifier d’historique
• Stanford HAI estime que l’IA pourrait devenir la technologie de transformation la plus importante du XXIe siècle
• Mais il souligne aussi que, pour que les bénéfices des progrès de l’IA profitent équitablement à tous, un développement orienté est nécessaire
• AI Index analyse de manière objective les avancées techniques de l’IA, son impact économique et son impact social afin d’offrir aux décideurs politiques et aux dirigeants d’entreprise des éclairages essentiels

1. Les performances de l’IA continuent de progresser sur les benchmarks les plus difficiles

• En 2023, les chercheurs ont introduit de nouveaux benchmarks pour tester les limites des systèmes d’IA de pointe :
  • MMMU, GPQA, SWE-bench
• En seulement un an, les performances ont fortement progressé :
  • MMMU : +18,8 points
  • GPQA : +48,9 points
  • SWE-bench : +67,3 points
• Au-delà des benchmarks, l’IA a aussi montré des avancées notables dans la génération de vidéo de haute qualité
• Dans certains environnements, des agents fondés sur des modèles de langage obtiennent même de meilleurs résultats en programmation que les humains dans un temps limité

2. L’IA se diffuse rapidement dans la vie quotidienne

• De la santé aux transports, l’IA sort du laboratoire pour s’intégrer pleinement dans la vie de tous les jours
• En 2023, la FDA américaine a approuvé 223 dispositifs médicaux basés sur l’IA (contre seulement 6 en 2015)
• Les véhicules autonomes ne sont plus au stade expérimental et entrent dans la phase de commercialisation
  • Waymo : plus de 150 000 trajets autonomes par semaine
  • Baidu : exploitation commerciale dans plusieurs villes chinoises via le robotaxi Apollo Go

3. Les entreprises investissent massivement dans l’adoption et l’usage de l’IA

• En 2024, les investissements privés dans l’IA aux États-Unis ont atteint 109,1 milliards de dollars, soit le niveau le plus élevé au monde
  • Environ 12 fois plus que la Chine (9,3 milliards de dollars) et 24 fois plus que le Royaume-Uni (4,5 milliards de dollars)
• En particulier, 33,9 milliards de dollars ont été investis dans la seule IA générative → +18,7 % par rapport à 2023
• La part des entreprises utilisant l’IA augmente aussi rapidement :
  • 55 % en 2023 → 78 % déclarent avoir adopté l’IA en 2024
• Selon les recherches, l’IA améliore globalement la productivité et
  • contribue positivement à réduire les écarts de compétence entre métiers

4. Les États-Unis restent le principal pays producteur de modèles d’IA, mais la Chine réduit rapidement l’écart de performance

• En 2024, les États-Unis ont présenté 40 grands modèles d’IA, loin devant la Chine (15) et l’Europe (3)
• Les États-Unis restent en tête en volume, mais l’écart qualitatif avec les modèles chinois se réduit rapidement
  • Sur des benchmarks de référence (MMLU, HumanEval), on est passé d’un écart à deux chiffres en 2023 à un niveau presque équivalent en 2024
• La Chine reste numéro un mondial en nombre d’articles et de brevets liés à l’IA
• Le développement des modèles d’IA se diversifie de plus en plus vers le Moyen-Orient, l’Amérique latine et l’Asie du Sud-Est

5. L’écosystème de l’IA responsable (RAI) évolue, mais de manière déséquilibrée

• Les incidents et problèmes liés à l’IA augmentent fortement, mais les grands développeurs de modèles industriels intègrent encore rarement des évaluations standard RAI
• De nouveaux benchmarks d’évaluation de la sécurité émergent :
  • HELM Safety, AIR-Bench, FACTS → des outils prometteurs pour évaluer la précision et la sécurité
• Les entreprises ont une conscience élevée des risques RAI, mais prennent encore peu de mesures concrètes
• En revanche, les gouvernements accélèrent leur réponse sur la gouvernance de l’IA
  • L’OCDE, l’UE, l’ONU ou encore l’Union africaine ont publié des cadres politiques mettant l’accent sur la transparence et la fiabilité

6. L’optimisme à l’égard de l’IA progresse dans le monde, mais les écarts régionaux restent importants

• Part des personnes jugeant l’IA bénéfique :
  • Chine (83 %), Indonésie (80 %), Thaïlande (77 %) : majorité d’opinions positives
  • Canada (40 %), États-Unis (39 %), Pays-Bas (36 %) : niveaux nettement plus faibles
• L’optimisme est toutefois en hausse :
  • Progression de la perception positive par rapport à 2022 : Allemagne (+10 %), France (+10 %), Canada (+8 %), Royaume-Uni (+8 %), États-Unis (+4 %)

7. L’IA évolue vers plus d’efficacité, de moindre coût et d’accessibilité

• Grâce à l’amélioration des performances des petits modèles, le coût d’inférence d’un modèle de niveau GPT-3.5 a été divisé par 280 entre novembre 2022 et octobre 2024
• Côté matériel :
  • baisse annuelle des coûts de 30 %
  • amélioration de 40 % de l’efficacité énergétique
• Les modèles open weight progressent eux aussi rapidement
  • Sur certains benchmarks, l’écart de performance avec les modèles fermés est passé de 8 % à 1,7 %
• Tous ces facteurs abaissent rapidement les barrières d’accès aux technologies d’IA avancées

8. Les gouvernements passent à l’action sur la régulation et l’investissement dans l’IA

• En 2024, les agences fédérales américaines ont publié 59 textes réglementaires liés à l’IA
  • Soit plus du double de 2023, avec un nombre d’agences concernées lui aussi doublé
• Dans 75 pays, les mentions législatives liées à l’IA ont augmenté de 21,3 %
  • Soit 9 fois plus qu’en 2016
• Exemples majeurs d’investissements publics :
  • Canada : 2,4 milliards de dollars, Chine : fonds semiconducteurs de 47,5 milliards de dollars
  • France : 109 milliards d’euros, Inde : 1,25 milliard de dollars
  • Arabie saoudite : 100 milliards de dollars investis via Project Transcendence

9. L’enseignement de l’IA et de l’informatique se diffuse, mais les problèmes d’accès et de préparation persistent

• Deux tiers des pays du monde ont mis en place ou prévoient un enseignement de l’informatique en K–12
  • Soit un niveau deux fois supérieur à celui de 2019
  • Les progrès sont les plus rapides en Afrique et en Amérique latine
• Aux États-Unis, le nombre de diplômés de licence dans les filières informatiques a augmenté de 22 % en dix ans
• Mais le manque d’infrastructures de base (comme l’électricité) rend encore l’accès difficile dans certaines régions d’Afrique
• Parmi les enseignants américains d’informatique en K–12, 81 % estiment que l’IA est un élément essentiel de l’enseignement, mais
  • moins de la moitié seulement se disent réellement prêts à l’enseigner

10. L’industrie mène le développement de l’IA, mais la concurrence devient plus intense

• En 2024, environ 90 % des grands modèles d’IA ont été développés par l’industrie (contre 60 % en 2023)
• En revanche, les travaux de recherche en IA les plus cités proviennent toujours du monde académique
• La taille des modèles continue d’augmenter :
  • la puissance de calcul d’entraînement double tous les 5 mois
  • les jeux de données doublent tous les 8 mois
  • la consommation électrique double chaque année
• Mais les écarts de performance se réduisent :
  • écart de score entre les modèles classés 1er et 10e : 11,9 % → 5,4 %
  • écart entre le 1er et le 2e : seulement 0,7 %
• Cela traduit un environnement de développement de l’IA plus concurrentiel et plus complexe

11. L’IA reçoit la plus haute reconnaissance dans le domaine scientifique

• L’IA a récemment été reconnue comme technologie clé dans des recherches récompensées par le prix Nobel
  • récompensée respectivement pour les technologies de deep learning (physique) et les applications de prédiction de la structure des protéines (chimie)
• En outre, un prix Turing a également été décerné pour des contributions majeures en apprentissage par renforcement
• Cela indique que l’influence scientifique de l’IA commence à être officiellement reconnue dans les grandes disciplines académiques

12. Le raisonnement complexe reste un défi majeur pour l’IA

• L’IA affiche d’excellents résultats sur des problèmes du niveau des Olympiades internationales de mathématiques
• Mais elle rencontre toujours des difficultés sur des benchmarks de raisonnement complexe comme PlanBench
• Même lorsqu’une réponse correcte claire existe, elle échoue souvent à résoudre de façon cohérente des problèmes logiques
• En conséquence, l’efficacité réelle de l’IA reste limitée dans les domaines à haut risque où la précision est critique

[GN⁺]

Avis sur Hacker News

• Les données de ce rapport ont été fournies sous forme de fichiers CSV sur Google Drive, ce qui a permis de les convertir en base de données SQLite et de les explorer avec Datasette Lite
  • La table la plus intéressante montre des exemples de biais sur différents modèles
• Une réfutation du point 11 (AlphaFold3 vs Vina, Gnina, etc.) a été publiée sur Substack
  • Gnina réévalue les résultats de Vina avec un réseau de neurones, donc la même inquiétude s'applique
  • Je suis optimiste à propos de l'IA, mais cette comparaison est erronée
  • Il faut une méthode capable de se généraliser à de nouveaux candidats médicaments, mais l'évaluation a été faite sur un jeu de données répétitif
• On voit souvent des rapports affirmant que l'IA surpasse les humains, mais elle ne m'a pas aidé à résoudre des problèmes du quotidien
  • J'ai fourni à Claude des centaines de lignes de code et l'emplacement du problème, mais il n'a pas réussi à le résoudre
  • Les LLM ont tendance à s'acharner sur une sortie précise
  • Comme avec Google Search, même en essayant une recherche spécifique, on obtient le même résultat
• Il est surprenant qu'il n'y ait pas de chapitre sur l'impact environnemental
  • En Europe, et particulièrement en France, c'est un argument majeur pour critiquer l'usage de l'IA
  • Cela inclut le pillage artistique, la destruction d'emplois, la facilité de générer de la désinformation et les conditions de travail des entraîneurs d'IA dans les pays à faible revenu
  • Personnellement, je ne suis pas opposé à l'IA ; je liste simplement les arguments que je vois souvent passer dans mon fil
• Chaque chapitre est proposé en PDF séparé, et le rapport complet fait 456 pages
• « Les performances de l'IA sur des benchmarks difficiles continuent de s'améliorer »
  • J'ai l'impression que de plus en plus de modèles d'IA sont ajustés pour ces benchmarks faisant autorité
• Quelqu'un demande pourquoi le site web rend déjà difficile l'ouverture des images dans un nouvel onglet
  • Si on copie l'URL, elle pointe vers une image bruitée, mais on peut télécharger l'image d'origine depuis AWS S3
  • On se demande si c'est fait pour intimider les utilisateurs non techniques
• Les anciens rapports de Stanford sur l'IA étaient conséquents et critiques
  • Le rapport actuel donne l'impression d'un assemblage de nombreux petits communiqués de presse
  • L'IA est passée des universités aux entreprises, et des articles de recherche aux communiqués de presse
  • Les communiqués de presse d'OpenAI sur GPT se contentaient d'aligner des chiffres sans information utile
• Je suis convaincu que le niveau de vie va s'améliorer
  • On pourra travailler plus efficacement dans le même temps, ce qui augmentera la productivité et réduira les coûts
  • Je ne sais pas comment cet effet se manifestera sur le marché boursier
• Les États-Unis produisent toujours les meilleurs modèles d'IA, mais la Chine réduit l'écart en matière de performance
  • La plupart des chercheurs se concentrent sur le fait de construire de belles choses avec des gens intelligents, pas avec des nations
  • Je ne veux pas d'une guerre avec la seule puissance manufacturière du monde
  • J'aimerais que les États-Unis prennent la R&D au sérieux dans la compétition IA avec la Chine, mais je ne souhaite pas cette compétition