Résumé du Google Web AI Summit 2024 : l’IA côté client pour les développeurs

• Le 18 octobre 2024, Google a organisé son premier Web AI Summit
• Côté client, l’utilisation de modèles de machine learning dans le navigateur permet une inférence à faible latence, y compris hors ligne, ainsi qu’une réduction des coûts et une meilleure protection de la vie privée

Résumé des principales sessions

• Transformers.js : le machine learning moderne pour le web

  • Transformers.js est une bibliothèque JavaScript fonctionnellement équivalente à la bibliothèque Python Transformers de Hugging Face, utilisable directement sur le web
  • Elle prend en charge plus de 1 000 modèles préentraînés et couvre de nombreuses tâches et modalités, notamment le texte, l’image et l’audio
  • Les utilisateurs peuvent choisir un modèle préentraîné ou exécuter directement un modèle personnalisé dans le navigateur
  • La prise en charge de WebGPU permet de tirer parti des capacités GPU modernes pour une exécution rapide et efficace des modèles

• API Web Neural Network (WebNN) : présent et avenir

  • L’API WebNN est une nouvelle API proposée comme standard du web, conçue pour exécuter rapidement et efficacement des tâches de machine learning côté client
  • Elle fournit des capacités d’accélération IA dans le navigateur à l’aide de WebAssembly et WebGPU
  • Elle prend en charge des accélérateurs matériels comme le CPU, le GPU et le NPU afin d’exécuter des tâches IA sur différents appareils
  • La session a couvert les derniers développements de l’API, la prise en charge matérielle, la compatibilité avec les frameworks et son implémentation dans les navigateurs

• La technologie Web AI PC d’Intel

  • Intel utilise l’API WebNN pour fournir une accélération web ML côté client, permettant une exécution haute performance sur CPU, GPU et NPU
  • Elle est actuellement proposée en version developer preview dans les navigateurs Chrome et Edge
  • Elle est intégrée à ONNX Runtime Web, ce qui permet son usage avec différents frameworks de machine learning
  • Des démonstrations et les premiers retours utilisateurs ont montré des performances « proches du natif » et illustré le potentiel de nouvelles expériences web

• ml5.js : un machine learning pensé pour le web

  • ml5.js est une bibliothèque open source construite sur TensorFlow.js, conçue pour rendre le machine learning plus accessible
  • Elle propose une interface simple et intuitive destinée aux artistes, aux codeurs créatifs et aux étudiants
  • Dans la lignée de la philosophie de p5.js et Processing, elle améliore l’accessibilité du code et facilite l’apprentissage
  • Elle inclut diverses fonctionnalités comme la reconnaissance d’image, l’analyse de texte et l’estimation de pose, tout en restant facile à utiliser pour les débutants

• WebLLM : un moteur d’inférence LLM haute performance dans le navigateur

  • WebLLM est un moteur d’inférence haute performance permettant d’exécuter directement des grands modèles de langage (LLM) dans le navigateur
  • Il s’appuie sur WebGPU pour utiliser l’accélération GPU et offrir une inférence rapide
  • Tous les calculs sont effectués côté client, ce qui renforce la protection de la vie privée et ne nécessite aucune configuration
  • Il propose une interface de style API OpenAI, permettant une intégration standardisée et prenant en charge divers cas d’usage comme les applications de chat et la génération de JSON structuré

• Améliorer les applications LLM dans le navigateur avec LangChain

  • LangChain est un framework pour développer des applications exploitant de petits LLM fonctionnant dans le navigateur
  • Pour dépasser les limites des petits modèles, il utilise LangGraph.js afin de concevoir des applications à états et de fournir des techniques de prompt optimisées
  • La session a présenté des méthodologies pour tirer parti des avantages des LLM locaux, comme la faible latence et la protection de la vie privée, tout en répondant aux limites de performance

• Visual Blocks : prototypage visuel de pipelines IA

  • Visual Blocks est une plateforme de programmation visuelle qui permet de prototyper rapidement des pipelines IA via une interface simple de glisser-déposer
  • Elle permet l’augmentation de données et les tests en temps réel, ainsi que le développement de solutions créatives grâce à divers nœuds personnalisés et pipelines
  • Elle a présenté différentes applications IA, dont des graphismes interactifs, des chaînes LLM, de la computer vision et des solutions multimodales
  • Elle cherche à encourager les contributions de la communauté afin de construire un écosystème de pipelines ML plus riche

• Aperçu des fonctionnalités IA intégrées à Chrome

  • L’état actuel de la Prompt API et des API de tâches de haut niveau (résumé, réécriture de texte, etc.) ainsi que les premiers retours utilisateurs ont été partagés
  • La session a présenté différentes applications exploitant les fonctionnalités IA intégrées de Chrome ainsi que les plans à venir
  • Elle a aussi introduit des optimisations et améliorations des API pour garantir des performances élevées et stables

• TensorFlow.js et cas d’usage dans l’industrie des biens de consommation

  • Présentation du cas d’une grande entreprise brésilienne de biens de consommation ayant utilisé TensorFlow.js pour améliorer sa stratégie marketing en magasin
  • La technologie IA a été utilisée pour identifier et analyser des produits en temps réel
  • Le projet a été publié en open source afin de permettre son utilisation par d’autres entreprises, et s’est étendu à divers cas d’usage sectoriels

• Retour d’expérience sur l’usage des API intégrées de Chrome

  • Présentation de l’expérience de développement d’applications IA à l’aide des API de Chrome et des enseignements tirés
  • Introduction de techniques d’optimisation des performances des applications basées sur l’IA et de prompt tuning
  • Le cas de l’application Synonym Finder a servi à partager des méthodes d’utilisation souples de la Prompt API ainsi que des conseils pratiques

• Le potentiel de l’IA dans les extensions web

  • Les extensions Chrome peuvent contrôler le navigateur, observer le contenu web et ajouter des interfaces, ce qui leur donne une capacité d’extension utile lorsqu’elles sont combinées à des fonctions IA
  • La session a présenté des exemples d’extensions basées sur l’IA actuellement disponibles sur le Web Store ainsi que leurs perspectives futures
  • Elle a montré comment l’intégration de l’IA et des extensions Chrome peut améliorer l’expérience de navigation et accroître la productivité

• Transformer l’accessibilité aux soins grâce à WebAI

  • En utilisant la technologie WebAI, IncludeHealth fournit de la kinésithérapie virtuelle, permettant aux patients de recevoir des soins personnalisés à tout moment et depuis n’importe où
  • Cela abaisse les barrières de coût et d’accès, ouvrant la voie à un plus grand nombre de patients pouvant bénéficier de soins
  • L’utilisation de données personnalisées permet d’offrir des traitements plus précis et plus efficaces

• Simple ML pour Google Sheets

  • Simple ML, proposé sous forme d’add-on Google Sheets, permet aux utilisateurs d’effectuer directement des tâches de machine learning dans leurs feuilles de calcul
  • Il s’appuie sur WebAssembly, JavaScript et l’IA intégrée de Chrome pour simplifier l’exécution de tâches de machine learning complexes
  • Grâce à sa bibliothèque open source, il aide aussi d’autres développeurs à créer facilement leurs propres solutions ML

[brain1401]

J'adore JS