StarCoder, le LLM pour le code publié par le projet BigCode

• Modèle de 15,5B entraîné sur 1 billion de tokens couvrant plus de 80 langages de programmation
• Utilise MQA pour une génération efficace et dispose d'une fenêtre de contexte de 8192 tokens
  • StarCoderBase : entraîné sur le jeu de données The-Stack v1.2 (6 To), contenant des données de plus de 80 langages
  • StarCoder : modèle davantage entraîné sur Python
• Démo de chat et extension pour VSCode disponibles

[ninebow]

Voici le lien vers l’article mentionné dans le post d’annonce sur Twitter. :)

https://drive.google.com/file/d/1cN-b9GnWtHzQRoE7M7gAEyivY0kl4BYs/view

[ninebow]

Il est aussi disponible directement dans HuggingFace Chat. :)
https://huggingface.co/chat/?model=bigcode/starcoder

[xguru]

SantaCoder - Modèle de génération de code entraîné avec 1,1 milliard (1.1B) de paramètres