Des personnes qui affinent llama2
(news.ycombinator.com)Voici un exemple de fine-tuning de llama2 présenté sur Hacker News.
Le fine-tuning consiste à ajuster davantage un modèle d’IA à partir de mes propres ensembles de questions-réponses.
On dit que le fine-tuning peut commencer avec un minimum de 50 exemples, mais qu’il est préférable d’en avoir plus de 1�000 si possible.
L’auteur affirme qu’un modèle Llama 7B affiné coûte plus de 50 fois moins cher que GPT-3.5.
Bien sûr, comparer Llama 7B et GPT-3.5 (165B) n’a pas vraiment de sens, mais comme les modèles GPT fine-tunés ne sont pas bon marché, on peut imaginer que les cas d’usage consistant à fine-tuner puis utiliser Llama vont se multiplier.
2 commentaires
« You can run 70B LLAMA on dual 4090s/3090s with quantization. Going with dual 3090s you can get a system that can run LLAMA 2 70B with 12K context for < $2K.
I built two such a systems after burning that much in a week on ChatGPT. »
https://news.ycombinator.com/item?id=37489601
Les commentaires sont impressionnants. En regardant les commentaires laissés ensuite, ils disent que différentes équipes géraient les données dans des formats différents, et qu’ils ont utilisé ChatGPT pour les normaliser et harmoniser les formats de données en une semaine. Si on assemble bien ce genre de choses, alors ?!
Oh, très bonne idée. J’ai trouvé marquant que même le CEO de Replicate soit venu commenter.
Je me souviens surtout de l’avis selon lequel le coût de GPT-3.5 (probablement turbo) et celui de Llama 70B seraient similaires.
Pour ma part, je pense utiliser GPT dans mon travail, mais comme on voit apparaître des startups qui tirent parti de Llama + fine-tuning, je l’ai partagé ici.