Google Chrome ajoute le modèle d’IA Gemini Nano `window.ai` dans le navigateur

• À partir de Chrome version 127, le modèle d’IA Gemini Nano est disponible directement dans le navigateur via window.ai
• Le site de démonstration du chatbot a été développé avec Next.js + Vercel AI SDK
• Exemple d’utilisation

import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});   

[cosine20]

https://huggingface.co/wave-on-discord/gemini-nano
Pour information, le fichier du modèle a été extrait il y a quelque temps.

[edunga1]

https://developer.chrome.com/docs/ai/built-in

Il faut apparemment faire une demande séparée pour pouvoir l’essayer.

[cometkim]

https://github.com/explainers-by-googlers/prompt-api

[GN⁺]

Avis sur Hacker News

• Il est positif d’intégrer nativement au navigateur une fonctionnalité qui applique aussi aux utilisateurs du web la stratégie IA d’Apple

  • L’utilisation d’un modèle local peut renforcer la confidentialité et la sécurité
  • Si Google l’implémente bien, cela pourrait être très intéressant

• Vercel a présenté window.ai en montrant sa propre abstraction au lieu de l’API de Chrome

  • L’API window.ai est très simple et ne nécessite pas de wrapper
  • Exemple de code :

    const model = await window.ai.createTextSession();
    const result = await model.prompt("What do you think is the meaning of life?");
    

• Le fait de ne pas pouvoir spécifier un modèle dans l’API de Google est un défaut majeur

  • Si le modèle est continuellement mis à niveau, les tests et la maintenance deviendront difficiles
  • Code proposé :

    const supportedModels = await window.ai.getSupportedModels();
    if (supportedModels.includes("gemini-nano:0.4")) {
      const model = await window.ai.createTextSession("gemini-nano:0.4");
      // ...
    }
    

• Le fait que des sites web utilisent le CPU de l’utilisateur pour du traitement LLM distribué pose problème

• Il manque de documentation publique sur l’API window.ai

  • Il n’est pas clair de quelle version du modèle Gemini Nano il s’agit

• Avec la technologie actuelle, les modèles instruct sont moins utiles que les modèles de base

  • Il faut des fonctionnalités comme l’exécution de LoRAs, le réglage de la température et la configuration de templates de prompt
  • La technologie évolue si vite qu’il est peut-être encore trop tôt pour l’intégrer au navigateur
  • Il faudrait séparer le modèle de l’interface afin de pouvoir utiliser aussi d’autres modèles locaux

• La standardisation est insuffisante

  • Une approche comme le WebNN de Microsoft est nécessaire
  • D’autres vendeurs doivent le concrétiser, comme les tentatives d’Apple d’exposer Metal via WebGPU

• La fonctionnalité « Create theme with AI » de Chrome ne se distingue pas d’une sélection aléatoire de thèmes

  • Il est prévu de créer une API qui renvoie des images aléatoires depuis pixabay

• Plus un modèle à usage général est gros, plus il est utile

  • Des modèles on-device affinés pour des tâches spécifiques sont plus précis

• eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))