Affiner son propre Llama 2 pour remplacer GPT-3.5/4

• Sur HN, l’intérêt pour l’affinage des LLM open source a fortement augmenté (par ex. le post d’Anyscale)
• Partage de plusieurs années d’expérience et d’enseignements sur l’affinage de modèles, ainsi que de code pratique
• Mise à disposition d’un ensemble de notebooks couvrant l’annotation des données, l’affinage, l’exécution efficace de l’inférence et l’évaluation coût/performance
• Entraînement d’un modèle 7B qui reproduit à 95 % les labels de GPT-4 sur un ensemble de test
• Qu’est-ce que l’affinage ? Une forme de prompting plus puissante que le simple fait d’écrire des instructions en texte
• On entraîne un modèle existant à partir de paires d’entrées/sorties d’exemple pour former un modèle affiné
• Avantages et inconvénients du prompting et de l’affinage
• Grand avantage de l’affinage : bien plus efficace pour guider le comportement du modèle, ce qui permet d’utiliser des modèles beaucoup plus petits
• Un modèle Llama 7B affiné coûte 50 fois moins cher par token que GPT-3.5 et fournit des résultats équivalents ou meilleurs dans de nombreux cas d’usage
• Exemple : classifier 2M de recettes avec GPT-4 coûte 23k $, tandis que notre modèle affiné affiche des performances similaires à GPT-4 et ne coûte que 19 $ pour traiter l’ensemble du jeu de données
• Développement en cours d’un produit open source appelé OpenPipe
• Le produit OpenPipe aide les ingénieurs à adopter l’affinage aussi simplement que possible
• Ce post vise à partager ce qu’ils ont appris sur l’affinage

[GN⁺]

Avis Hacker News

• Article sur l’usage du fine-tuning du modèle Llama 2 comme alternative à GPT-3.5/4
• Certains utilisateurs ont constaté que, pour les tâches de traduction, GPT-3.5 était 100 fois moins cher que Llama 2, et que Llama 7B fournissait des traductions médiocres
• La stratégie tarifaire agressive d’OpenAI pour GPT-3.5 est perçue comme une manière d’encourager la dépendance à leurs modèles plutôt qu’à ceux d’autres fournisseurs
• Discussion sur la possibilité d’utiliser les sorties de GPT et d’autres LLM pour entraîner des modèles de remplacement en interne, ce qui pourrait constituer une solution rentable à grande échelle pour ceux qui utilisent normalement l’API
• Des doutes sont émis sur l’affirmation selon laquelle un modèle Llama 7B fine-tuné serait 50 fois moins cher que GPT-3.5, certains suggérant que cela n’est possible qu’en auto-hébergement
• Des questions sont soulevées sur l’efficacité du fine-tuning par rapport au low-rank adaptation
• Certains utilisateurs estiment que la comparaison entre un modèle Llama fine-tuné et GPT-3.5 est trompeuse, en invoquant les difficultés à obtenir une latence d’inférence correcte et à assurer la scalabilité
• La qualité d’un modèle Llama 2 fine-tuné n’est pas nécessairement supérieure à celle de ChatGPT ; le fine-tuning exige un jeu de données de haute qualité, difficile à constituer facilement
• Des interrogations sont soulevées sur la régularité du function calling de GPT et sur son taux d’erreur
• Des utilisateurs se demandent quels sont les meilleurs LLM open source pour fine-tuner leurs propres modèles
• Des demandes de clarification portent sur le fait de savoir si le jeu de données de fine-tuning doit être constitué de paires entrée/sortie ou s’il peut être auto-régressif
• Des utilisateurs s’intéressent à des ressources pour apprendre à fine-tuner ce type de modèles, en particulier pour les débutants
• Cet article est considéré comme une ressource utile pour les personnes qui débutent dans le domaine du ML/LLM.