Le moment Stable Diffusion arrive pour les LLM

xguru · 2023-03-13T11:40:39+09:00

La publication de Stable Diffuion (SD) en août 2022 a été un moment important, et a déclenché une explosion d’innovations qui se poursuit encore aujourd’hui Récemment, ControlNet a dépassé MidJourney et DALL-E sur le plan des fonctionnalités La publication de SD a suscité un nouvel intérêt pour l’IA générative, et cette vague s’est encore amplifiée avec le lancement de ChatGPT en novembre Le moment SD arrive aussi pour les grands modèles de langage (LLM) Il est désormais possible d’exécuter un modèle de niveau GPT-3 sur un ordinateur portable personnel LLaMA Les LLM comme GPT-3 coûtent bien plus cher à construire et à exploiter que les modèles de génération d’images Les meilleurs modèles ont été développés par des entreprises comme OpenAI et sont accessibles via API, mais ne sont pas publiés de façon à pouvoir être exécutés directement Le modèle lui-même est aussi énorme, donc même en obtenant un modèle GPT-3, il est impossible de l’exécuter sur du matériel commercial (il faut plusieurs GPU de classe A100 à plus de 8 000 $ pièce) De nombreux modèles de langage ont été publiés ces dernières années, mais la plupart ne sont pas adaptés à une exécution directe Tout a changé grâce au modèle LLaMA de Facebook et à LLama.cpp LLaMA n’est pas totalement ouvert. Pour accéder au modèle, il faut accepter plusieurs conditions strictes Quelqu’un a mis en ligne un PR non officiel téléchargeable via torrent, ce qui a rendu le téléchargement possible llama.cpp Si LLaMA est difficile à exécuter sur un ordinateur portable personnel, son intérêt est limité Le Bulgare Georgi Gerganov avait déjà créé Whisper.cpp, un portage en C++ du modèle de reconnaissance vocale Whisper d’OpenAI Il a fait le même travail pour LLaMA L’objectif était de le faire fonctionner même sur du matériel lent, y compris sur MacBook, grâce à la quantification en 4 bits (une technique qui réduit la taille du modèle) Il a aussi réduit la taille même des modèles, à 4 Go pour le modèle 7B et à moins de 8 Go pour le modèle 13B Cela fonctionne très bien sur MacBook Il devient possible d’exécuter sur un ordinateur portable le modèle 13B que Facebook affirme capable de rivaliser avec GPT-3 En voyant le texte généré sur un ordinateur portable, on a l’impression que le monde est en train de changer à nouveau Je pensais qu’il faudrait attendre encore des années avant de pouvoir exécuter un modèle de niveau GPT-3 sur mon propre matériel, mais j’avais tort. « Le futur est déjà là » Est-ce le pire scénario ? Il ne s’agit pas de s’inquiéter de scénarios dignes de la science-fiction. Un LLM exécuté sur un ordinateur portable ne devient pas une « AGI qui domine le monde » Mais il existe de nombreuses façons d’utiliser cette technologie à mauvais escient génération de spam, arnaques sentimentales automatisées, trolling et discours de haine, fausses informations et désinformation, radicalisation automatisée Avant ce moment, il existait au moins une fine couche de protection, avec des entreprises comme OpenAI capables de contrôler la manière dont les gens interagissaient avec ces modèles Mais maintenant qu’ils peuvent tourner sur le matériel de chacun, ces mécanismes de contrôle disparaissent Comment l’utiliser à bon escient ? Je pense que cela aura un impact majeur sur la société. Ma priorité est d’orienter cet impact dans une direction positive Il est facile d’adopter une vision cynique en considérant l’IA générative comme nuisible ou comme une perte de temps Personnellement, j’utilise chaque jour des outils d’IA générative. Ils m’ont apporté des gains de productivité concrets et, plus important encore, ils ont élargi l’ambition des projets que je mène La semaine dernière, j’ai appris en une heure l’AppleScript nécessaire à un nouveau projet en utilisant ChatGPT Je continuerai à explorer et à partager les façons positives d’appliquer cette technologie Ce qu’il faudra surveiller ensuite À moins que Facebook n’assouplisse ses conditions de licence, LLaMA risque de rester une simple preuve de concept montrant que ce type de modèle peut tourner sur du matériel grand public Une course a désormais commencé pour publier un modèle de langage entièrement ouvert capable d’offrir, sur l’appareil de chacun, des fonctionnalités comparables à ChatGPT

(simonwillison.net)

37 points par xguru 2023-03-13 | 3 commentaires | Partager sur WhatsApp

La publication de Stable Diffuion (SD) en août 2022 a été un moment important, et a déclenché une explosion d’innovations qui se poursuit encore aujourd’hui
Récemment, ControlNet a dépassé MidJourney et DALL-E sur le plan des fonctionnalités
La publication de SD a suscité un nouvel intérêt pour l’IA générative, et cette vague s’est encore amplifiée avec le lancement de ChatGPT en novembre
Le moment SD arrive aussi pour les grands modèles de langage (LLM)
Il est désormais possible d’exécuter un modèle de niveau GPT-3 sur un ordinateur portable personnel

LLaMA

Les LLM comme GPT-3 coûtent bien plus cher à construire et à exploiter que les modèles de génération d’images
Les meilleurs modèles ont été développés par des entreprises comme OpenAI et sont accessibles via API, mais ne sont pas publiés de façon à pouvoir être exécutés directement
Le modèle lui-même est aussi énorme, donc même en obtenant un modèle GPT-3, il est impossible de l’exécuter sur du matériel commercial (il faut plusieurs GPU de classe A100 à plus de 8 000 $ pièce)
De nombreux modèles de langage ont été publiés ces dernières années, mais la plupart ne sont pas adaptés à une exécution directe
Tout a changé grâce au modèle LLaMA de Facebook et à LLama.cpp
LLaMA n’est pas totalement ouvert. Pour accéder au modèle, il faut accepter plusieurs conditions strictes
Quelqu’un a mis en ligne un PR non officiel téléchargeable via torrent, ce qui a rendu le téléchargement possible

llama.cpp

Si LLaMA est difficile à exécuter sur un ordinateur portable personnel, son intérêt est limité
Le Bulgare Georgi Gerganov avait déjà créé Whisper.cpp, un portage en C++ du modèle de reconnaissance vocale Whisper d’OpenAI
Il a fait le même travail pour LLaMA
L’objectif était de le faire fonctionner même sur du matériel lent, y compris sur MacBook, grâce à la quantification en 4 bits (une technique qui réduit la taille du modèle)
Il a aussi réduit la taille même des modèles, à 4 Go pour le modèle 7B et à moins de 8 Go pour le modèle 13B
Cela fonctionne très bien sur MacBook
Il devient possible d’exécuter sur un ordinateur portable le modèle 13B que Facebook affirme capable de rivaliser avec GPT-3
En voyant le texte généré sur un ordinateur portable, on a l’impression que le monde est en train de changer à nouveau
Je pensais qu’il faudrait attendre encore des années avant de pouvoir exécuter un modèle de niveau GPT-3 sur mon propre matériel, mais j’avais tort. « Le futur est déjà là »

Est-ce le pire scénario ?

Il ne s’agit pas de s’inquiéter de scénarios dignes de la science-fiction. Un LLM exécuté sur un ordinateur portable ne devient pas une « AGI qui domine le monde »
Mais il existe de nombreuses façons d’utiliser cette technologie à mauvais escient
- génération de spam, arnaques sentimentales automatisées, trolling et discours de haine, fausses informations et désinformation, radicalisation automatisée
Avant ce moment, il existait au moins une fine couche de protection, avec des entreprises comme OpenAI capables de contrôler la manière dont les gens interagissaient avec ces modèles
Mais maintenant qu’ils peuvent tourner sur le matériel de chacun, ces mécanismes de contrôle disparaissent

Comment l’utiliser à bon escient ?

Je pense que cela aura un impact majeur sur la société. Ma priorité est d’orienter cet impact dans une direction positive
Il est facile d’adopter une vision cynique en considérant l’IA générative comme nuisible ou comme une perte de temps
Personnellement, j’utilise chaque jour des outils d’IA générative. Ils m’ont apporté des gains de productivité concrets et, plus important encore, ils ont élargi l’ambition des projets que je mène
La semaine dernière, j’ai appris en une heure l’AppleScript nécessaire à un nouveau projet en utilisant ChatGPT
Je continuerai à explorer et à partager les façons positives d’appliquer cette technologie

Ce qu’il faudra surveiller ensuite

À moins que Facebook n’assouplisse ses conditions de licence, LLaMA risque de rester une simple preuve de concept montrant que ce type de modèle peut tourner sur du matériel grand public
Une course a désormais commencé pour publier un modèle de langage entièrement ouvert capable d’offrir, sur l’appareil de chacun, des fonctionnalités comparables à ChatGPT

3 commentaires

ffdd270 2023-03-13

Il est mentionné que cela fonctionne sur MacBook ; pour la méthode de configuration de LLAMA sur MacBook, veuillez consulter ceci : https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

(Cela me va aussi très bien si quelqu’un d’autre en fait un article 'm' b)

dkmin 2023-03-15

Merci pour le partage.

xguru 2023-03-13

C’est un article de Simon Willison, un habitué de GeekNews.
Je pense que, comme il l’affirme, si ce genre de modèles de langage devient exécutable sur des appareils personnels, cela « élargira l’ambition / le périmètre de mise en œuvre des projets ».
Même quand j’essaie d’ajouter des fonctionnalités liées à ChatGPT sur GeekNews, le coût de l’API me pousse à y réfléchir à deux fois.
Maintenant qu’il est devenu possible de faire tourner des LLM d’un niveau tout à fait exploitable sur des appareils personnels, j’espère que cela ouvrira la voie à une palette d’applications plus large.

Comme je l’ai aussi écrit dans la GeekNews Weekly publiée aujourd’hui,
pour qu’une tendance technologique continue à faire parler d’elle, il est essentiel de voir dans quelle mesure de vraies entreprises fondées sur cette technologie sont construites à un niveau réellement utile pour les utilisateurs, puis lancées.