State of AI 2023 [Google Slides, 163 p.]

Un rapport publié chaque année qui offre une vue d’ensemble de la situation actuelle et de l’avenir de l’intelligence artificielle

• Research : innovations technologiques et capacités à ce jour
• Industry : domaines d’application commerciale de l’IA et impact business
• Politics : régulation liée à l’IA, implications économiques et géopolitique de l’IA
• Safety : identification et atténuation des risques critiques que l’IA peut engendrer
• Predictions : ce qui pourrait arriver ensuite et examen des performances des rapports précédents

Résumé par domaine en 2023

• Research
  • GPT-4 a montré l’écart de capacités entre les modèles propriétaires et la meilleure alternative open source, tout en démontrant la puissance du RLHF (apprentissage par renforcement à partir de retours humains)
  • Les efforts se sont intensifiés pour reproduire ou dépasser les performances des modèles propriétaires à partir de LLaMa-1/2, avec des modèles plus petits, de meilleurs jeux de données et des contextes plus longs
  • On ne sait pas encore combien de temps les données générées par les humains pourront soutenir la tendance d’expansion de l’IA (certains estiment que les LLM pourraient épuiser ces données d’ici 2025), ni quel sera l’impact de l’ajout de données synthétiques. Les vidéos et les données enfermées dans les entreprises sont susceptibles d’être la prochaine cible
  • Les LLM et les modèles de diffusion continuent d’apporter de nouvelles percées à la communauté des sciences de la vie, notamment en biologie moléculaire et dans la découverte de médicaments
  • Avec l’essor de la multimodalité comme nouveau territoire, l’intérêt pour toutes sortes d’agents a fortement augmenté
• Industry
  • Sous l’effet de la demande frénétique en GPU de la part des États, des startups, des grands groupes et des chercheurs, NVIDIA a rejoint le club des entreprises valorisées à plus de 1 000 milliards de dollars
  • Les contrôles à l’exportation limitent les ventes de puces avancées vers la Chine, mais les principaux fournisseurs de puces développent des alternatives capables de contourner ces restrictions
  • Portées par ChatGPT, les applications GenAI ont connu une année décisive dans tous les domaines — image, vidéo, code, voix, copilotes — et ont attiré 18 milliards de dollars d’investissements VC et corporate
• Politics
  • Le monde s’est divisé en blocs réglementaires bien distincts, mais les progrès de la gouvernance mondiale restent lents. Les grands laboratoires d’IA tentent de combler ce vide
  • La guerre des puces se poursuit, les États-Unis mobilisant leurs alliés tandis que la riposte chinoise reste encore limitée
  • L’IA devrait avoir un impact sur une série de domaines sensibles, notamment les élections et l’emploi, mais son influence reste pour l’instant limitée
• Safety
  • Le débat sur les risques existentiels est entré pour la première fois dans le courant dominant et s’est fortement intensifié
  • De nombreux modèles très performants peuvent être « jailbreakés » facilement. Pour résoudre les problèmes du RLHF, les chercheurs explorent des alternatives comme le self-alignment et le préentraînement sur les préférences humaines
  • À mesure que les capacités progressent, il devient de plus en plus difficile d’évaluer de façon cohérente les modèles SOTA (State of the Art). Le simple ressenti ne suffit pas

Prévisions pour les 12 prochains mois

1. Utilisation de l’IA générative pour les effets visuels dans des productions de niveau hollywoodien
2. Lors de la présidentielle américaine de 2024, une entreprise de médias génératifs fera l’objet d’une enquête pour usage abusif de cette technologie
3. Des agents d’IA capables de s’améliorer eux-mêmes surpasseront nettement l’état de l’art dans des environnements complexes (ex. : jeux AAA, usage d’outils, science)
4. Le marché des introductions en bourse (IPO) dans la tech dégèlera, avec au moins une cotation d’entreprise centrée sur l’IA (ex. : Databricks)
5. Dans la frénésie de scaling de la GenAI, un groupe ira jusqu’à dépenser plus d’un milliard de dollars pour entraîner un seul grand modèle
6. La Federal Trade Commission (FTC) américaine ou la Competition and Markets Authority (CMA) britannique enquêtera sur l’accord Microsoft/OpenAI au titre du droit de la concurrence
7. Les progrès de la gouvernance mondiale de l’IA resteront limités au-delà de promesses volontaires de haut niveau
8. Des institutions financières lanceront des fonds de dette GPU pour remplacer les capitaux VC comme moyen de financer la capacité de calcul
9. Une chanson générée par IA entrera dans le top 10 du Billboard Hot 100 ou dans le Spotify Top Hits 2024
10. Alors que les charges de travail et les coûts liés à l’inférence augmentent fortement, une grande entreprise de l’IA (ex. : OpenAI) fera l’acquisition d’un fabricant de puces IA spécialisé dans l’inférence

[xguru]

Rapport State of AI 2022 [Google Slide, 114P]
Rapport State of AI 2021 [Google Slide, 188P]
Rapport State of AI 2020 [Google Slide, 183P]