Mistral AI lance Forge

• Forge est un système qui permet aux entreprises de construire leurs propres modèles d’IA fondés sur leurs connaissances internes, en comblant les limites des modèles existants centrés sur les données publiques
• Il entraîne des modèles spécialisés par domaine à partir de documents internes, de bases de code et de données opérationnelles, tout en prenant en charge les étapes de pré-entraînement, post-entraînement et apprentissage par renforcement
• Il permet de conserver le contrôle sur les modèles, les données et les connaissances, ainsi que la protection de la propriété intellectuelle, ce qui le rend exploitable même dans les secteurs réglementés
• Grâce à des modèles sur mesure, les agents d’entreprise peuvent comprendre les systèmes et politiques internes, et exécuter avec précision l’usage des outils comme la prise de décision
• Il prend en charge diverses architectures et l’apprentissage par renforcement continu, ce qui renforce l’autonomie stratégique de l’IA d’entreprise et ses possibilités d’amélioration à long terme

---

Présentation de Forge

• Forge est un système qui permet aux entreprises de construire des modèles d’IA de niveau frontier à partir de leurs connaissances et données propres
  • Alors que les modèles traditionnels fondés sur des données publiques sont optimisés pour des tâches générales, Forge reflète le contexte propre à chaque organisation, comme les standards internes, les politiques, le code ou les historiques de décision
  • Il aide ainsi l’IA à fonctionner en adéquation avec l’environnement opérationnel et les workflows de l’entreprise
• Mistral AI collabore déjà avec ASML, Ericsson, European Space Agency et HTX Singapore pour appliquer cette technologie

Entraînement de modèles fondés sur les connaissances institutionnelles

• Forge entraîne les modèles à partir de grands volumes de données internes tels que des documents, des bases de code, des données structurées et des journaux d’exploitation
  • Le modèle assimile alors la terminologie, les schémas de raisonnement et les contraintes propres à cet environnement
• Le processus d’entraînement se compose de trois étapes
  • Pré-entraînement (pre-training) : construction d’un modèle sensibilisé au domaine à partir des données internes
  • Post-entraînement (post-training) : ajustement fin du modèle pour l’adapter à des tâches et environnements spécifiques
  • Apprentissage par renforcement (reinforcement learning) : alignement du comportement du modèle sur les politiques internes et les critères d’évaluation, avec amélioration des performances en conditions réelles
• Cela permet de développer des modèles qui reflètent l’intelligence de l’organisation

Contrôle et autonomie stratégique

• Forge est conçu pour permettre aux entreprises de conserver le contrôle sur les modèles et les données
  • Les modèles sont entraînés sur des données internes et peuvent être gérés selon les politiques, critères d’évaluation et exigences opérationnelles de l’entreprise
• Il permet de répondre aux exigences de conformité et de gouvernance dans des environnements réglementés
• L’exécution des modèles sur une infrastructure propre garantit une autonomie stratégique

Modèles sur mesure et agents fiables

• Les agents d’entreprise ne doivent pas seulement générer des réponses, mais aussi naviguer dans les systèmes internes, utiliser des outils et prendre des décisions fondées sur des politiques
• Les agents fondés sur des modèles entraînés sur le domaine comprennent la terminologie et les procédures internes, et saisissent les relations entre systèmes
  • Meilleure précision dans le choix des outils, plus grande fiabilité des workflows à plusieurs étapes, et décisions tenant compte des politiques internes
• Il devient ainsi possible de mettre en œuvre des agents d’IA comme composants opérationnels

Prise en charge de différentes architectures de modèles

• Forge prend en charge à la fois les architectures Dense et Mixture-of-Experts (MoE)
  • Les modèles Dense sont performants sur les tâches généralistes, tandis que les MoE permettent d’exploiter de grands modèles avec une faible latence et une bonne efficacité économique
• La prise en charge des entrées multimodales permet d’entraîner des modèles sur divers formats de données, comme le texte ou l’image

Une conception centrée sur les agents

• Forge est conçu avec les agents de code comme principaux utilisateurs
  • Exemple : des agents autonomes comme Mistral Vibe peuvent effectuer le fine-tuning du modèle, l’exploration d’hyperparamètres, l’ordonnancement des tâches et la génération de données synthétiques
  • Forge prévient les baisses de performance grâce au monitoring des métriques d’évaluation pendant l’entraînement
  • En incluant la gestion de l’infrastructure et les recettes de pipeline de données, il permet la personnalisation du modèle via de simples commandes en langage naturel

Amélioration continue et évaluation

• Forge prend en charge un apprentissage adaptatif continu
  • Grâce au pipeline d’apprentissage par renforcement, le comportement du modèle peut être amélioré à partir des retours internes
  • Le framework d’évaluation permet de tester des benchmarks internes, des règles réglementaires et des tâches propres à chaque domaine
• Il devient ainsi possible de mettre en place un cycle de vie de modèle en amélioration continue plutôt qu’un déploiement statique

Cas d’usage en entreprise

• Administrations publiques : apprentissage de documents de politique multilingues et de procédures administratives pour soutenir l’analyse des politiques et les services publics
• Institutions financières : apprentissage de documents réglementaires et de procédures de risque pour assurer la cohérence de la gouvernance interne
• Équipes logicielles : apprentissage sur la base de code interne pour améliorer la productivité du développement, de l’implémentation au débogage et à la revue
• Fabricants : apprentissage de spécifications de conception et de données de maintenance pour aider au diagnostic et à la prise de décision
• Grandes entreprises : agents fondés sur des systèmes de connaissance internes pour prendre en charge des workflows complexes et améliorer la précision de la recherche d’information

Conclusion : vers une infrastructure d’IA centrée sur l’entreprise

• Alors que les modèles d’IA deviennent une couche centrale de l’infrastructure des entreprises, la modélisation des connaissances organisationnelles devient essentielle
• Forge fournit la base permettant aux entreprises de construire, entraîner, aligner et évaluer des modèles sur leurs propres données afin d’en faire un actif stratégique
• Il devient ainsi possible de transformer l’IA, d’un outil externe, en une capacité clé évoluant avec les connaissances de l’organisation

[GN⁺]

Réactions sur Hacker News

• J’aime bien Mistral. L’équilibre entre le coût et l’hébergement des données dans l’UE est parfait. Il n’y a presque pas de perte de qualité.
  En revanche, leur système de noms de modèles est beaucoup trop confus. Par exemple, il y a un modèle appelé Devstral 2, qui n’est ni Codestral ni Devestral.
  Dans l’API, il y a plusieurs noms comme devstral-2512, devstral-latest, devstral-medium-latest, etc.
  Je me suis dit que devstral-latest devait être le bon, alors j’ai contacté le support, et 12 heures plus tard ils m’ont envoyé un guide de configuration IntelliJ généré par IA disant que « devstral 2, c’est devstral 2 ».
  Le problème, c’est que les écrans montrés dans ce guide n’existent même pas

  • Moi aussi, je me suis complètement perdu sur leur site. À la place, si on regarde la documentation officielle,
    devstral-2512, devstral-latest et devstral-medium-latest correspondent tous à devstral 2.
    labs-devstral-small-2512 et devstral-small-latest correspondent à devstral small 2,
    devstral-medium-2507 à devstral 1.0, et devstral-small-2507 à devstral small 1.1
  • J’ai eu exactement la même expérience. En particulier, le processus de création de clé API est séparé selon les produits, ce qui rend le tout encore plus confus
  • Mon impression, c’est que cette entreprise fonctionne davantage avec une logique B2B qu’avec les développeurs individuels.
    On dirait qu’ils veulent proposer des workflows adaptés à chaque entreprise.
    Ou alors, ils ont peut-être un problème de communication entre équipes comme chez Google
  • Je pense que « l’hébergement des données dans l’UE » est la raison du soutien dont bénéficie Mistral.
    La qualité des modèles est plus faible, mais en Europe c’est malgré tout ce qu’il y a de mieux.
    Bien sûr, on peut aussi faire tourner des modèles chinois sur des serveurs européens

• Il ne faut pas sous-estimer Mistral. Comme LLM généraliste en tant que service, c’est assez bon marché,
  et leur stratégie consistant à se concentrer sur le modélisme sur mesure plutôt que sur les modèles géants finira probablement par payer.
  Ils peuvent notamment avoir un avantage dans l’environnement très réglementé de l’UE.
  Le monde ne se limite pas à la génération de code

  • Je pense pareil. Pour qu’une entreprise adopte l’IA et automatise des processus, cette approche est optimale.
    Cela dit, c’est une stratégie avec peu de barrières à l’entrée, donc facile à copier.
    S’ils accumulent beaucoup de modèles préentraînés pour chaque produit, ERP, CRM, etc.,
    puis vendent des modèles dérivés intégrant les données de personnalisation des clients, alors là ils auront un vrai moat.
    L’essentiel, c’est de conclure discrètement des contrats
  • Mais si l’essence même des LLM, c’est d’être des mégamodèles,
    je me demande comment le modélisme sur mesure peut remplacer cette masse de connaissances
  • J’ai moi-même entraîné des petits modèles spécialisés sur leur plateforme.
    Il suffit d’uploader un dataset et le modèle est immédiatement utilisable via un endpoint.
    Il y a des limites, mais ça améliore énormément l’accessibilité
  • Même pour le code, Vibe est davantage spécialisé dans le refactoring de fonctions que dans « écrire toute l’application ».
    Ça fonctionne aussi en local, ce qui permet au développeur de garder le contrôle
  • Honnêtement, en dehors de l’argument « européen », il n’y a pas beaucoup de raisons de choisir Mistral.
    La qualité de leurs modèles est parmi les plus faibles des LLM

• Je me demandais ce qu’ils entendent par « pre-training » et « post-training ».
  En pratique, ils n’ont probablement pas suffisamment de datasets propres,
  donc je ne sais pas si leur préentraînement correspond vraiment à l’entraînement d’un modèle de base, ou plutôt à du SFT (supervised fine-tuning).
  Peut-être qu’ils génèrent aussi des données synthétiques à partir de données internes pour faire une distillation de connaissances à basse résolution

  • Le préentraînement consiste à exposer un modèle existant à davantage de texte brut (PDF, etc.).
    Comme l’objectif reste de prédire le token suivant, on parle de « continued pre-training ».
    Le post-training regroupe tous les processus basés sur le feedback humain, comme SFT, DPO, RL, etc.
  • C’est probablement une distinction marketing entre full fine-tuning et PEFT/LoRA
  • À mon avis, le préentraînement consiste à affiner les poids d’un modèle existant avec plus de données,
    et le post-training à ajouter des données dans le prompt, comme avec le RAG
  • Au final, cela semble bien vouloir dire « continued pretraining »
  • Cela ressemble à une façon de distinguer le fine-tuning d’un modèle de base avec SFT, et l’ajustement via DPO ou SFT orienté comportement

• D’après la présentation de Forge, ils entraînent les modèles sur la documentation interne ou la base de code de l’entreprise
  afin d’y intégrer la connaissance métier.
  Mais à mon avis, pour acquérir des connaissances, le RAG est plus efficace que le fine-tuning.
  Le fine-tuning est utile pour changer le « ton » du modèle, mais il est difficile d’y injecter de nouvelles connaissances

• Je soutiens l’approche de Mistral.
  Au lieu de se lancer dans la course aux modèles géants, leur stratégie consistant à se concentrer sur l’ingénierie sur mesure pour les clients et sur le marché européen est intelligente

  • Pour discuter de sujets philosophiques, Mistral est le meilleur.
    Les autres modèles se préoccupent trop du niveau de compréhension du lecteur,
    alors que Mistral suit très bien les discussions profondes et techniques
  • Leur modèle d’OCR est vraiment exceptionnel
  • Ils proposent aussi le support pour les déploiements en local
  • Allez Mistral !
  • J’ai l’impression qu’après l’ère du .ai viendra celle du .eu. J’attends avec impatience le domaine ai.eu

• Ces derniers temps, Mistral tente vraiment beaucoup de choses intéressantes.
  Il leur sera difficile de rivaliser avec OpenAI ou Anthropic,
  mais l’originalité de la conception produit ressort clairement.
  Personnellement, j’irais presque jusqu’à vouloir travailler chez eux

• Mistral a récemment lancé beaucoup de fonctionnalités intéressantes.
  Ce ne sont pas des modèles de pointe, mais quand on pense à la difficulté pour les petites entreprises d’entraîner elles-mêmes des modèles,
  ce type d’outil représente une vraie opportunité.
  Surtout avec des outils comme unsloth, l’entraînement paraît bien plus réaliste

• Je me demande combien de cas d’usage en entreprise nécessitent réellement du fine-tuning.
  Le RAG ne suffirait-il pas dans la plupart des cas ?

  • Si on entraîne rapidement et à moindre coût de petits modèles spécialisés,
    on peut réduire les appels à des LLM distants pour l’analyse de logs, l’utilisation d’outils ou l’intégration de connaissances métier
  • Le RAG consiste simplement à récupérer des documents pour y trouver une réponse.
    En revanche, le fine-tuning améliore les capacités de raisonnement du modèle lui-même
  • Le RAG, c’est déjà fini

• Les implications de cette approche pour l’économie de l’IA sont intéressantes.
  Le nombre de GPU ne semble pas être la véritable barrière à l’entrée.
  Au contraire, ce sont les données spécialisées et propriétaires qui deviendront le vrai moat.
  Les données internes des entreprises contiennent des connaissances irremplaçables.
  C’est précisément là-dessus que mise Mistral

  • Les humains apprennent avec bien moins de données que l’ensemble d’Internet,
    mais on peut aussi dire qu’ils ont en quelque sorte été entraînés sur 3,5 milliards d’années de données d’évolution

• C’est la façon la plus intelligente de gagner de l’argent avec l’IA.
  MongoDB entre lui aussi sur le marché du RAG d’entreprise et du conseil en modèles sur mesure
  via VoyageAI.