MPT-7B, un LLM open source utilisable commercialement

• Un transformeur entraîné sur 1 billion de tokens
• Une qualité comparable à LLaMA-7B, mais open source et utilisable commercialement
• Trois modèles de fine-tuning supplémentaires également publiés
  • MPT-7B-Instruct, MPT-7B-Chat, MPT-7B-StoryWriter-65K+ (prise en charge de 65K tokens)
• Entraîné sur la plateforme MosaicML pendant 9,5 jours pour un coût d’environ 200 K$, avec la possibilité d’entraîner, de fine-tuner et de déployer son propre modèle MPT
• MPT : Mosaic Pretrained Transformers

[kuroneko]

Ces derniers temps, quand on voit l’énorme quantité de modèles LLM open source utilisables commercialement qui sortent,
on a l’impression qu’ils sont en concurrence pour devenir le Stable Diffusion du monde des LLM.

J’ai hâte de voir qui sera le grand gagnant. +_+

[xguru]

Je pense que c’est une bonne option de commencer le développement en l’intégrant d’abord avec ChatGPT, puis de le remplacer plus tard par l’open source le plus avancé.