Mistral : premiers endpoints IA, accès anticipé disponible

Lancement de la bêta du nouveau service de plateforme de Mistral AI

• Mistral AI propose aux développeurs de puissants modèles génératifs open source ainsi que des moyens de les déployer et de les personnaliser efficacement.
• La société ouvre aujourd’hui l’accès bêta à son premier service de plateforme, qui propose trois endpoints de chatbot générant du texte à partir d’instructions textuelles, ainsi qu’un endpoint d’embedding.
• Chaque endpoint présente un compromis différent entre performances et prix.

Endpoints de génération

• mistral-tiny et mistral-small utilisent les deux modèles actuellement publiés, tandis que mistral-medium s’appuie sur un modèle prototype en cours de test en environnement de production.
• Les modèles intègrent les techniques d’alignement les plus efficaces, comme le fine-tuning efficace et l’optimisation directe des préférences, afin de créer des modèles faciles à contrôler et agréables à utiliser.
• Mistral-tiny prend uniquement en charge l’anglais, Mistral-small prend en charge plusieurs langues et le code, et Mistral-medium est considéré comme l’un des meilleurs modèles de service.

Endpoint d’embedding

• Mistral-embed propose un modèle d’embedding conçu pour la recherche, avec une dimension d’embedding de 1024.
• Ce modèle d’embedding a obtenu un score de recherche de 55.26 sur le MTEB.

Spécifications de l’API

• L’API suit les spécifications d’une interface de chatbot populaire proposée initialement par un concurrent.
• Des bibliothèques clientes Python et Javascript sont fournies pour interroger les endpoints.
• Les endpoints permettent de fournir des prompts système afin que les utilisateurs puissent définir un niveau plus élevé de modération sur les sorties du modèle.

Passage de l’accès bêta à la disponibilité générale

• À partir d’aujourd’hui, tout le monde peut s’inscrire et utiliser l’API, et la capacité sera augmentée progressivement.
• L’équipe business peut aider à identifier les besoins et à accélérer l’accès.
• Certaines parties peuvent rester instables pendant la phase de stabilisation de la plateforme pour la rendre entièrement self-service.

Remerciements

• Merci à NVIDIA pour son soutien à l’intégration de TensorRT-LLM et Triton, ainsi que pour le travail mené ensemble afin de créer un mélange d’experts sparse compatible avec TRT-LLM.

L’avis de GN⁺

• Le point le plus important de cet article est que Mistral AI met à disposition des développeurs de nouveaux modèles génératifs et d’embedding, leur permettant de bénéficier de meilleures capacités de génération de texte et d’embedding.
• Ces technologies devraient accélérer les progrès de l’IA, et leur capacité à prendre en charge diverses langues et le code élargira considérablement leur potentiel d’application sur le marché mondial.
• Pour les développeurs, cela représente une opportunité enthousiasmante de créer des projets et des solutions innovants grâce à de nouveaux outils et API, ce qui renforce les attentes autour de l’avenir de la technologie.

[GN⁺]

Avis Hacker News

• Une petite entreprise (environ 30 personnes) est valorisée à 2 milliards de dollars et a réussi à produire le meilleur modèle 7B ainsi qu’un modèle MOE 7B*8. Ces modèles offriraient les performances d’un modèle 70B tout en ne nécessitant que la puissance d’inférence d’un modèle 14B. Cela pourrait représenter une menace plus importante pour OpenAI, et avec son récent financement, l’entreprise devrait bientôt pouvoir monter en charge pour absorber le trafic et attirer les meilleurs chercheurs déçus par divers problèmes du secteur.
• Le modèle Mistral-medium bat largement GPT-3.5 et Gemini Pro de Google sur les benchmarks. On peut espérer que les performances réelles soient aussi impressionnantes que les benchmarks, et le fait que les filtres de sécurité soient proposés en option constitue aussi un grand avantage pour les applications sûres.
• Les prix de Mistral ont été dévoilés. Mistral-medium coûte 8 dollars par million de tokens en sortie, et Mistral-small 1,94 dollar, ce qui laisse penser qu’ils sont compétitifs face aux tarifs de GPT-3.5 et GPT-4.
• Le serveur TextSynth de Fabrice Bellard a commencé à prendre en charge le modèle Mistral 7B. Des fonctionnalités comme le support CUDA, la grammaire BNF et l’échantillonnage via schéma JSON ont été ajoutées.
• La concurrence est ce qui fait avancer le monde. C’est réjouissant de voir de petits comme de grands acteurs proposer des modèles compétitifs. Il est dommage, lorsqu’on publie des benchmarks, de voir des méthodes de test ajustées à son propre avantage. Il faudrait un benchmark ouvert permettant de comparer équitablement les principaux modèles.
• Il n’y a pas assez de discussion sur les limites de taille de contexte de ces modèles. La technique de sliding window limite en pratique la mémoire à environ 8k tokens, ce qui est insuffisant pour de nombreuses tâches. Les modèles dérivés de Llama2 nécessitent un fine-tuning non seulement à cause du nombre de paramètres, mais aussi à cause du faible contexte proposé.
• « Endpoint en accès anticipé » signifie en réalité « liste d’attente pour un accès anticipé à l’endpoint ». L’accès à l’API se fait actuellement uniquement sur invitation, et ils préviendront lorsqu’il sera possible de s’abonner à l’accès aux meilleurs modèles.
• Battre ChatGPT-3.5 est vraiment une performance remarquable. GPT-3.5 ne suffit pas pour beaucoup d’usages du quotidien, d’où de grandes attentes envers GPT-4.
• L’API Mistral suit la spécification d’une interface de chat populaire proposée par un concurrent. C’est amusant et j’aime bien.
• Mistral-embed propose un modèle d’embedding en 1024 dimensions, conçu avec la recherche en tête. Il obtient un score de recherche de 55,26 sur MTEB. On ne sait pas encore si ce modèle d’embedding sera proposé en open source.