Ajustement fin de Mistral 7B sur le draft de Magic: The Gathering

Résumé : exploration des techniques de fine-tuning de l’IA

• Effets et difficulté des techniques de fine-tuning
  • Le fine-tuning complète les capacités de GPT-4 et promet de meilleurs résultats en vitesse et en coût.
  • Pour combler le manque d’informations sur l’efficacité réelle et la difficulté du fine-tuning, une expérimentation directe a été menée.

Choix du problème

• Tester les capacités de raisonnement du modèle via le draft de Magic: The Gathering (MTG)
  • MTG est un jeu de cartes stratégique, et le draft consiste à construire un deck en choisissant des cartes à partir d’un pool aléatoire.
  • Le draft est une tâche complexe, bien adaptée car elle exige du raisonnement et une compréhension de nouvelles données.
  • De vastes données historiques fournies par le service 17lands ont été utilisées, avec les choix de draft des meilleurs joueurs comme "ground truth".

Résultats et résumé

• Performances du modèle 7B fine-tuné
  • Le modèle 7B fine-tuné dépasse GPT-4 et affiche des performances proches du niveau humain.
  • Fine-tuner GPT-3.5 pourrait donner de meilleurs résultats, mais à un coût très élevé.
  • Le fine-tuning reste un processus expérimental, et le prompt engineering en particulier demande beaucoup de temps.
  • Après fine-tuning sur un nouveau set de cartes, le modèle montre aussi une capacité de généralisation sur des sets inédits.

Rapport de terrain : méthode et apprentissage

• Construction des données
  • Les données au format CSV de 17lands ont été converties en format texte pour les rendre adaptées au fine-tuning.
  • Le formatage des données a été un processus difficile et expérimental.
• Exécution du fine-tuning
  • En raison de problèmes d’accès aux GPU, des GPU ont été loués à l’heure sur Runpod.
  • axolotl a été utilisé pour mettre en œuvre facilement l’optimisation du fine-tuning.
• Évaluation
  • Il est important de définir des critères d’évaluation avant de commencer l’expérience.
  • Définir des critères d’évaluation pour les modèles de langage peut être difficile.

Principaux enseignements

• Effet du fine-tuning
  • Le fine-tuning sur de nouvelles données surpasse GPT-4 en précision et en coût.
  • Le fine-tuning exige une démarche expérimentale pour être bien réalisé, et c’est une compétence spécialisée plus difficile à apprendre que le prompt engineering.

Informations supplémentaires liées à Magic

• Performances du bot de draft IA fine-tuné
  • Une application d’assistance au draft a été développée à partir d’un modèle de draft connecté aux logs de Magic Arena.
  • Le modèle fine-tuné génère les choix, tandis que GPT-4 fournit les explications.
  • Des simulations avec plusieurs bots de draft IA ont montré des performances similaires à celles de drafteurs humains.

Avis de GN⁺

Le point le plus important de cet article est que les techniques de fine-tuning ont le potentiel de dépasser les performances des grands modèles de langage existants (comme GPT-4), tout en améliorant fortement la compréhension et l’efficacité de l’IA sur des tâches spécifiques. Ce texte est particulièrement intéressant parce qu’il montre, à travers un cas d’usage concret, le processus détaillé du fine-tuning et ses effets ; il peut ainsi aider même des ingénieurs logiciel débutants à mieux comprendre le potentiel d’évolution des technologies d’IA et leurs méthodes d’application.

[GN⁺]

Commentaires sur Hacker News

• Il est frappant de voir qu’en fine-tuning de LLM, même des concepts simples peuvent être difficiles à concrétiser. Malgré un bon jeu de données initial et un bon modèle, cela restait une tâche complexe.
• Cela donne l’impression que les LLM conviennent aux problèmes qui n’ont pas de réponse naturellement unique. Choisir la carte parfaite est impossible en pratique, mais choisir une bonne carte est faisable, et un LLM peut approcher des performances de niveau humain.
• Il semble exister un ensemble de problèmes que l’on peut résoudre par fine-tuning de LLM. Ce n’est pas révolutionnaire pour la vie quotidienne, mais l’idée d’affronter dans Magic: the Gathering des bots avec des styles de jeu intéressants est enthousiasmante.
• Des doutes sont soulevés sur la manière d’extraire une « vérité de terrain » à partir des choix de draft des meilleurs joueurs. Des données triées par taux de victoire peuvent refléter non pas les meilleurs joueurs, mais les plus chanceux.
• Un LLM peut avoir un certain niveau de connaissance des règles, mais il est probable qu’il considère surtout la rareté des cartes, leur coût, etc. Cela amène à s’interroger sur la « justesse » du draft.
• Au lieu de chercher à ramener la loss du LLM à 0, il pourrait être utile d’essayer une loss pondérée avec Axolotl. Une adaptation au domaine pourrait aider le fine-tuning.
• Le prompt donné à l’agent semble ne contenir que le nom des cartes et ne pas conserver le contexte des choix précédents. Cela suggère que si le bot drafte bien, cela pourrait être entièrement dû au hasard.
• Partage d’un lien vers un cas où Magic the Gathering: Arena a été hacké pour atteindre 100 % de taux de victoire. Cela suggère que Sparky, l’IA virtuelle de MTGA, n’est peut-être pas très sophistiquée.
• Expression d’un intérêt pour le fine-tuning de LLM appliqué à Magic: The Gathering. Quelqu’un construit un navigateur de similarité de cartes et a essayé plusieurs prompts avec InstructorXL, sans obtenir encore de résultats satisfaisants. Cette publication a été inspirante.
• Interrogation sur la possibilité d’utiliser un petit modèle qui traiterait chaque carte comme un token et utiliserait l’état du draft en entrée pour prédire la carte à choisir.
• Il serait intéressant de comparer cela à l’entraînement d’un réseau de neurones pour drafter sans utiliser Mistral comme point de départ. On ne voit pas clairement pourquoi la composante LLM est importante.
• Le fait qu’un draft puisse être représenté avec un LLM est très intéressant. Les meilleurs systèmes d’IA de draft utilisent, sous une forme ou une autre, l’apprentissage de représentations.