LLaMA-Adapter V2 : un outil pour affiner efficacement LLaMA

• Permet d’entraîner LLaMA en modèle de suivi d’instructions et multimodal en seulement 1 heure, avec à peine 1,2 million de paramètres entraînables
• Alpaca nécessite 7B paramètres, 13G de stockage et 3 heures, tandis que
  LLaMA-Adapter ne demande que 1,2M paramètres, 4,7M de stockage et 1 heure

[bytebrawlers]

N’utilise-t-il pas une approche PEFT similaire à LoRA, et surtout le point principal n’est-il pas qu’il prend en charge le contexte visuel ? Il existe déjà tellement d’approches SFT (Instruction Fine-Tuning) fondées sur PEFT pour LLaMA...