- Code Llama est un grand modèle de langage (LLM) de pointe conçu pour le codage, capable de générer du code ainsi que du langage naturel à propos du code à partir de prompts en code comme en langage naturel.
- Il est construit sur Llama 2 et se décline en trois modèles : Code Llama (modèle de base pour le code), Code Llama - Python (spécialisé en Python) et Code Llama - Instruct (ajusté pour mieux comprendre les instructions en langage naturel).
- Code Llama est gratuit pour la recherche et l’usage commercial et est publié sous la même licence communautaire que Llama 2.
- Ce modèle peut être utilisé pour la complétion de code et le débogage et prend en charge de nombreux langages populaires, dont Python, C++, Java, PHP, Typescript (Javascript), C#, Bash, etc.
- Code Llama est disponible en trois tailles, avec 7B, 13B et 34B paramètres, chacune entraînée sur 500B tokens de code et de données liées au code.
- Ces modèles sont proposés pour répondre à différents besoins de service et de latence : le modèle 34B offre les meilleurs résultats, tandis que les modèles plus petits 7B et 13B conviennent mieux aux tâches nécessitant rapidité et faible latence.
- Les modèles Code Llama peuvent traiter jusqu’à 100 000 tokens de contexte, ce qui est utile pour générer des programmes plus longs et déboguer de plus grandes bases de code.
- Deux variantes supplémentaires ont été affinées : Code Llama - Python (spécialisé sur 100B tokens de code Python) et Code Llama - Instruct (ajusté pour produire des réponses utiles et sûres en langage naturel).
- Lors des tests de benchmark, Code Llama a surpassé les autres LLM publiquement disponibles sur les tâches liées au code, avec 53,7 % sur HumanEval et 56,2 % sur Mostly Basic Python Programming (MBPP).
- Des mesures de sécurité ont été prises pour atténuer les risques liés à Code Llama, y compris une évaluation quantitative du risque de génération de code malveillant.
- La recette d’entraînement et les poids du modèle de Code Llama sont disponibles dans le dépôt GitHub de Code Llama.
- Le document de recherche sur Code Llama fournit plus de détails sur le développement du modèle, ses limites et les défis à venir.
- Les développeurs ont également mis à jour le Responsible Use Guide afin d’y inclure des recommandations sur la manière de développer de façon responsable des sous-modèles.
- Code Llama a été conçu pour aider les ingénieurs logiciels de tous horizons et inspirer d’autres personnes à exploiter Llama 2 pour créer de nouveaux outils innovants pour la recherche et les produits commerciaux.
1 commentaires
Avis sur Hacker News