Code Llama - modèle de langage géant de pointe pour le codage

• Meta a dévoilé Code Llama, un modèle dédié au code construit sur la base de Llama 2.
• Il peut générer du code à partir de prompts en code et en langage naturel, et selon ses propres benchmarks, ses performances ont dépassé celles de ChatGPT.
• Sortie de modèles 7B, 13B et 34B, entraînés respectivement sur 500 milliards de tokens de code et des données associées.
• Il prend en charge jusqu'à 100 000 tokens de contexte, ce qui facilite l'écriture de programmes plus longs ou la saisie dans le prompt de conditions détaillées et de vrai code.
• En plus du modèle de base, Code Llama est également proposé en deux variantes supplémentaires.
  • Code Llama - Python : un modèle affiné avec 100 milliards de tokens supplémentaires de code Python.
  • Code Llama - Instruct : un modèle affiné avec 5 milliards de tokens d'instructions, optimisé pour les entrées en langage naturel et les sorties en code.
    • Les autres modèles n'étant pas optimisés pour le langage naturel, il faut utiliser celui-ci pour générer du code à partir de langage naturel.
• Les résultats de mesure des performances du modèle via HumanEval et MBPP montrent qu'il est équivalent ou supérieur à ChatGPT (GPT 3.5).
  • Là où GPT 3.5 obtient 48,1 % sur HumanEval, Code Llama - Python atteint 53,7 %.
  • GPT 4 est encore devant avec 67 %.
• Diverses mesures de sécurité ont été ajoutées afin de minimiser le risque que Code Llama génère du code malveillant.
  • Des tests concrets ont montré qu'il génère moins de code malveillant que ChatGPT.

[xguru]

La licence semble être la même que celle de Llama. Si on dépasse 700 millions de MAU, il faut demander une licence.
Bon, ça ne devrait pas poser de gros problème aux entreprises coréennes haha

[kuroneko]

• Article de recherche
• Dépôt GitHub
• Télécharger le modèle

Il a été publié sous la même licence que Llama 2.
Je trouvais aussi que StarCoder laissait un peu à désirer, alors est-ce qu’on a enfin une vraie alternative à Copilot ?

Quoi qu’il en soit, quand on voit ce genre de choses, on se dit que GPT-4 est vraiment impressionnant en termes de performances.
Il est aussi très bon en coréen, et les benchmarks montrent que GPT-4 affiche des performances bien supérieures...

Même GPT-3.5 est de loin meilleur en coréen que les autres modèles open source.

J’espère qu’on verra apparaître un modèle open source de génération de code qui fonctionne aussi en coréen.