Code Alpaca - LLaMA entraîné avec des instructions de génération de code

• Modèle ajusté à partir de Stanford Alpaca 7B/13B pour être plus adapté aux développeurs dans les tâches de programmation
• Remplacement par un jeu de 20K données d’Instruction Following liées à la génération de code (en utilisant la technique Self-Instruct)
• Modification partielle du pipeline de génération de données : changement des prompts pour les orienter vers la génération, l’édition et l’optimisation de code plutôt que vers des tâches générales
• Fine-tuning avec le code d’entraînement Hugging Face et Deepspeed