Web LLM - prise en charge de Llama2 7B/13B

• Un service qui exécute dans le navigateur, sans serveur, des LLM comme Llama, RedPajama et Vicuna en WASM
• Début de la prise en charge de Llama 2 7B/13B
• Llama 2 70B est également pris en charge, mais son utilisation n’est possible que sur les Mac Apple Silicon avec au moins 64 Go de RAM
• Accélération via WebGPU

[freejack]

• N’y connaissant pas grand-chose en IA, je l’ai testé par curiosité sur un PC peu puissant. - Premier modèle de la Chat Demo (configuration PC : AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)
• Lors de la première question, il a téléchargé environ 4 Go et s’est initialisé ; sur mon PC, cela a pris environ 11 minutes.
• À chaque question, il utilisait le GPU à plus de 60 % en moyenne et répondait comme s’il tapait lentement. (C’était franchement frustrant -_-)
• Pour tester, je lui ai posé la question "show me the earth picture" ; il m’a bien donné une URL de la NASA, mais l’image ne pouvait pas s’afficher. (Invalid URL)
• Il reconnaissait aussi les questions en coréen, mais ne répondait qu’en anglais.

[cosine20]

C’est une 750Ti, donc....

[laeyoung]

Il arrive souvent que ce qui sort en sortie d’URL se casse aussi dans ChatGPT. J’imagine que c’est inévitable.

[kuroneko]

J’ai trouvé ça vraiment fascinant de voir Stable Diffiusion s’exécuter sur le web,
mais est-ce que WebGPU pourra vraiment parvenir à une grande unification des API GPU ?

[ragingwind]

C'est incroyable.

[xguru]

Web LLM - Exécuter des LLM accélérés par WebGPU dans le navigateur, avec prise en charge de Llama2 7B/13B