Meta AI dévoile le modèle Code Llama 70B

• Un LLM hautes performances pour la génération de code, basé sur Llama 2 avec un échantillonnage accru de données issues d’un jeu de données spécialisé dans le code et un entraînement plus long
• Atteint 67,8 sur HumanEval, soit les meilleures performances parmi les modèles open source
• Comme avec la licence précédente, il peut être utilisé à la fois à des fins de recherche et commerciales
• 3 modèles
  • CodeLlama-70B
  • CodeLlama-70B-Python
  • CodeLlama-70B-Instruct
• Désormais disponible en 4 tailles : 7B/13B/34B/70B

[ragingwind]

S'il peut être exécuté en local sur un M2 Max ou supérieur, je pense que ce sera le meilleur jouet possible.

[xguru]

Une fois quantifié, cela devrait sans doute bien tourner. Avec un peu de patience, cela ne devrait-il pas arriver ?

[xguru]

Le lien ci-dessus sert à demander l’accès auprès de Meta, mais sur Hugging Face, tout est déjà publié. https://huggingface.co/codellama

[GN⁺]

Avis sur Hacker News

• Il est possible de développer le plugin Jetbrains CodeGPT et de l’exécuter en local. Le plugin peut être consulté ici.
• Le modèle est disponible sur Hugging Face : CodeLlama-70b-hf.
• Un utilisateur qui emploie ChatGPT et GitHub Copilot se demande comment utiliser ce type de modèles dans VS Code. Il existe de nombreuses extensions GPT pour VS Code, mais comme la plupart ne sont plus mises à jour ou mènent vers des offres payantes, il estime qu’il vaut mieux continuer à utiliser GitHub Copilot.
• Il faut reconnaître à Meta un excellent engagement en faveur de l’open source dans le machine learning.
• Vu la qualité des petits modèles de code, on peut se demander de quoi ce modèle 70B sera capable.
• Beaucoup de gens mentionnent les 4090 et les petits modèles, mais on voit rarement une analyse de la consommation énergétique. Il pense que Microsoft subventionne largement Copilot, et se demande, si on utilise Copilot 30 % du temps dans une journée, combien de kWh un modèle 7B ou 13B sur une 4090 consommerait par mois, ainsi que le coût énergétique correspondant.
• Il se demande quel est actuellement le meilleur modèle local de type Copilot, et s’il existe une extension pour vscode offrant une expérience similaire. Comme il possède une 4090, il s’attend à pouvoir faire tourner un nombre conséquent de modèles.
• Baptiste Roziere a récemment donné une excellente conférence sur Code Llama, visible ici.
• Ce serait intéressant si cela pouvait tourner en local sur des machines comme le M2 Max et offrir des fonctions comparables à Copilot via un plugin IDE. Cela permettrait de gagner du temps sur les problèmes ennuyeux d’un projet ou sur l’écriture de code « boilerplate », afin de se concentrer sur des tâches de génie logiciel plus complexes.
• Il est possible que le programmeur moyen ne dispose pas du matériel nécessaire pour faire tourner cela à la vitesse requise, donc il n’est pas certain du public visé par ce plugin. Cela reste néanmoins une fonctionnalité impressionnante.