Brève histoire des modèles LLaMA

• LLaMA, lancé en février 2023, dispose déjà de nombreux modèles fine-tunés
• Passage en revue et comparaison de chaque modèle
  • LLaMA : (7B, 13B, 33B, 65B), CommonCrawl/C4/GitHub/Wikipedia/Gutenberg & Book3/ArXiv/StackExchange
  • Alpaca : 52k instructions GPT-3
  • Vicuna : 70k conversations ChatGPT
  • Koala : 117k conversations ChatGPT nettoyées
  • GPT4-x-Alpaca : 20k instructions GPT-4
  • WizardLM : 70k instructions synthétisées avec ChatGPT/GPT-3
  • OpenAssistant : 600k interactions humaines (OpenAssistant Conversations)
• Logiciels pour exécuter les modèles LLaMA en local