Alpaca-LoRA : ajustement d’instructions de LLaMA à faible rang

• Essayer d’ajuster LLaMA aux instructions sur du matériel personnel à l’aide de Low-Rank Adaptation
• Un modèle capable de fonctionner sur un Raspberry Pi, tout en offrant une qualité proche de text-davinci-003
• Le code d’entraînement peut s’exécuter en moins de 5 heures sur une seule RTX 4090
• Utilise PEFT (Parameter-Efficient Fine-Tuning) de Hugging Face et bitsandbytes de Tim Dettmer pour un fine-tuning peu coûteux et efficace