Présentation de Mistral Small 3

• L'équipe de Mistral AI a lancé un modèle de 24B paramètres, Mistral Small 3, sous licence Apache 2.0.
• Ce modèle peut rivaliser avec des modèles plus grands comme Llama 3.3 70B ou Qwen 32B, et constitue une bonne alternative à des modèles propriétaires comme GPT4o-mini.
• Mistral Small 3 a été conçu dans une taille adaptée au déploiement local, avec moins de couches afin de réduire le temps de traitement.
• Il affiche plus de 81 % de précision sur MMLU, avec une latence de 150 tokens/s.

Performances

Évaluation humaine

• Plus de 1 000 ensembles de prompts de code et de prompts généraux ont été évalués avec un prestataire externe.
• Les réponses de Mistral Small 3 ont été comparées à celles d'autres modèles afin de mesurer les préférences.
• Un soin particulier a été apporté à l'équité de l'évaluation, et la validité du benchmark est considérée comme fiable.

Performances en suivi d'instructions

• Le modèle ajusté pour le suivi d'instructions affiche des performances compétitives face à des modèles ouverts trois fois plus grands ainsi qu'au modèle GPT4o-mini.
• Il obtient une haute précision sur les benchmarks de code, mathématiques, culture générale et exécution d'instructions.

Performances de préentraînement

• Mistral Small 3 est un modèle 24B qui offre les meilleures performances dans sa catégorie de taille et rivalise avec des modèles trois fois plus grands comme Llama 3.3 70B.

Cas d'usage de Mistral Small 3

• Support conversationnel à réponse rapide : il excelle dans les scénarios où des réponses rapides et précises sont essentielles.
• Appels de fonctions à faible latence : il peut gérer l'exécution rapide de fonctions dans des workflows automatisés.
• Création d'experts spécialisés : il peut être finement ajusté à un domaine spécifique pour produire des experts très précis.
• Inférence locale : utile pour les particuliers ou les organisations qui traitent des informations sensibles.

Utiliser Mistral Small 3 dans votre stack technologique préférée

• Mistral Small 3 est disponible sur la Plateforme sous mistral-small-latest ou mistral-small-2501.
• Le modèle est proposé sur plusieurs plateformes en partenariat avec Hugging Face, Ollama, Kaggle, Together AI et Fireworks AI.

Feuille de route

• Mistral Small 3 complète les grands modèles open source de raisonnement comme DeepSeek et peut servir de base solide pour renforcer les capacités de raisonnement.
• Des modèles plus petits et plus grands seront publiés à l'avenir.

Les modèles open source de Mistral

• L'entreprise prévoit de proposer des modèles généralistes sous licence Apache 2.0.
• Les poids des modèles pourront être téléchargés et déployés en local, avec liberté de modification et d'usage.
• Ils seront également proposés via une API serverless, des déploiements on-premise et VPC, ainsi qu'une plateforme de personnalisation et d'orchestration.

[GN⁺]

Avis sur Hacker News

• Le modèle Mistral Small vise à être le modèle optimal pouvant tourner sur un ordinateur portable aux performances correctes, et il est comparé à Llama 3.3 70B et Qwen 2.5 32B

  • Il fonctionne via Ollama sur un MacBook Pro M2 64GB, et il est rapide et performant
  • Le téléchargement de 14GB de poids du modèle est nécessaire

• Tom d'Epoch AI construit une infrastructure pour réaliser des évaluations de LLM de manière systématique et à grande échelle

  • Les évaluations sont effectuées à l'aide de la bibliothèque Inspect du gouvernement britannique
  • Mistral Small 3 a été évalué au niveau 5 de MATH et a obtenu une précision de 0.45
  • La précision moyenne a été mesurée en échantillonnant 8 fois sur 1024 questions

• Le passage à la licence Apache 2.0 permet de s'éloigner d'une licence non commerciale

• Après avoir testé des prompts de génération de code, les performances semblent similaires à celles de qwen2.5-coder-32b

  • Il est impressionnant de voir de petits modèles produire des sorties plus sophistiquées
  • Une nouvelle version du modèle mixtral 8x7B est attendue

• Les points clés de cette sortie sont les suivants

  • Application de la licence Apache 2.0
  • Faible latence (11ms/token)
  • Les performances se situent entre Qwen 2.5 32B et Llama 3.3 70B
  • Le modèle Mistral Small tourne à une vitesse de 9 tokens/s

• Avec les récentes sorties de modèles MoE, 24GB de VRAM commencent à sembler insuffisants

  • Mistral Small 3 n'utilise ni RL ni données synthétiques

• Le modèle Mistral Small répond correctement à une question sur le premier album de Mary J Blige

• Certains s'interrogent sur l'intérêt d'utiliser de petits modèles

• Certains aimeraient que le nombre de paramètres soit inclus dans le nom du modèle