Présentation du modèle Mistral Large 2

• Mistral Large 2 prend en charge une fenêtre de contexte de 128k ainsi que plusieurs langues, dont le français, l’allemand, l’espagnol, l’italien, le chinois, le japonais et le coréen
  • Il prend également en charge plus de 80 langages de programmation, dont Python, Java, C, C++, JavaScript et Bash
• Conçu pour l’inférence sur nœud unique, il se compose de 123 milliards de paramètres, ce qui lui permet d’offrir un débit élevé sur un seul nœud
• Il est distribué sous la Mistral Research License, qui autorise l’utilisation et la modification à des fins de recherche et non commerciales. Pour un usage commercial, il faut obtenir la Mistral Commercial License

Performances générales

• Mistral Large 2 établit une nouvelle référence sur les métriques d’évaluation performance/coût
• En particulier, sa version préentraînée atteint 84,0 % de précision sur le MMLU, établissant un nouveau point sur la frontière de Pareto performance/coût

Code et raisonnement

• Fort de l’expérience acquise avec Codestral 22B et Codestral Mamba, Mistral Large 2 a été entraîné sur de grandes quantités de code
• Mistral Large 2 surpasse largement le précédent Mistral Large et affiche des performances comparables à celles de modèles de référence comme GPT-4o, Claude 3 Opus et Llama 3 405B
• D’importants efforts ont été consacrés à l’amélioration des capacités de raisonnement du modèle, avec un affinage visant à minimiser sa tendance à générer des informations erronées
• Le modèle a été entraîné à reconnaître lorsqu’il ne trouve pas de solution ou ne dispose pas d’informations suffisantes

Suivi des instructions et alignement

• Mistral Large 2 progresse nettement en suivi des instructions et en capacités conversationnelles
• Comme la concision est essentielle dans de nombreuses applications métier, des efforts importants ont été menés pour produire des réponses aussi concises et pertinentes que possible

Diversité linguistique

• Mistral Large 2 a été largement entraîné sur des données multilingues et affiche d’excellentes performances en anglais, français, allemand, espagnol, italien, portugais, néerlandais, russe, chinois, japonais, coréen, arabe et hindi

Utilisation d’outils et appel de fonctions

• Mistral Large 2 dispose de fonctions améliorées d’appel de fonctions et de recherche, et a été entraîné pour servir de moteur à des applications métier complexes

Accès aux modèles Mistral via des fournisseurs de services cloud

• Le partenariat avec Google Cloud Platform s’étend pour proposer les modèles de Mistral AI dans Vertex AI
• Les modèles de Mistral AI sont également disponibles dans Azure AI Studio, Amazon Bedrock et IBM watsonx.ai

Résumé de GN⁺

• Mistral Large 2 prend en charge de nombreuses langues et de nombreux langages de programmation, tout en offrant un débit élevé sur un nœud unique.
• Ses capacités de génération de code et de raisonnement ont été nettement améliorées, et sa tendance à produire des informations erronées a été minimisée.
• Grâce à un entraînement approfondi sur des données multilingues, il affiche d’excellentes performances dans de nombreuses langues.
• Il est proposé aux utilisateurs du monde entier via des partenariats avec Google Cloud Platform, Azure AI Studio, Amazon Bedrock et IBM watsonx.ai.
• Il est conçu pour générer des réponses concises et ciblées dans les applications métier.

[GN⁺]

Avis Hacker News

• Après avoir testé les modèles Mistral Large 2 et Llama 3.1 405b, il est difficile de déterminer une supériorité nette entre les deux
• Si vous utilisez déjà Claude, mieux vaut continuer à l’utiliser
• Souhaits pour Claude :
  • Qu’il devienne plus intelligent
  • Une fenêtre de contexte plus longue (1M+)
  • Une entrée audio native et une meilleure compréhension du ton
  • Moins de jugement moral dans les refus
  • Qu’il soit plus rapide
  • Davantage de tokens de sortie
• La concurrence entre les modèles devient très intense
• Claude 3.5 Sonnet écrase tous les autres modèles
• Je ne vois pas bien comment utiliser Mistral ou Llama au quotidien
• Je développe un assistant de code IA et, après avoir essayé plusieurs modèles, Mistral Large 2 a été le plus décevant
• La licence non commerciale est décevante
• C’est capable de rivaliser avec Llama 3.1 405b, mais avec une licence plus restrictive
• Les écarts entre les modèles se réduisent, donc il vaudrait mieux affiner Llama 405B pour un cas d’usage précis
• Sauf bond majeur en qualité, il n’y aura pas de grande différence dans l’état actuel des choses
• Heureux de voir une concurrence aussi vive
• Beaucoup d’argent est dépensé pour créer des modèles SOTA, mais ils restent au niveau de GPT-4o et Claude Opus
• Le simple fait d’ajouter plus de données et de GPU semble atteindre ses limites
• L’expérience utilisateur et la « personnalité » vont devenir plus importantes
• J’apprécie Claude Sonnet, qui me semble plus affûté que les autres modèles
• Il ne faut pas oublier que chaque étape demande plus d’énergie et de ressources
• Partage des résultats récents des benchmarks de modèles de PyLLMs
  • Surprise face à la vitesse et à la qualité de Nemo
  • Mistral Large est bon, mais très lent
• Je suis perplexe sur lequel des modèles Claude, Opus ou Sonnet 3.5, est le plus performant
• Mistral Large 2 dispose d’un appel de fonctions et de capacités de recherche améliorés
• Je me demande si une précision d’environ 50 % en appel de fonctions signifie qu’une tâche complexe échoue une fois sur deux
• Je préfère ChatGPT-4o et j’utilise Claude quand j’ai un problème, sans pour autant obtenir de meilleurs résultats