Persimmon 8B : le nouveau modèle LLM dévoilé par Adept

Caractéristiques principales

• Un grand modèle de langage (LLM) publié par Adept sous licence Apache
• Le modèle Persimmon-8B compte 8 milliards de paramètres et peut être utilisé pour diverses tâches linguistiques
• Il dispose d’une fenêtre de contexte de 16K, soit environ 4 fois plus grande que celles de LLaMA2, GPT3, MPT, etc.
• Il affiche les meilleures performances parmi les modèles de langage open source comptant moins de 10 milliards de paramètres

Pour aller plus loin

• Site d’Adept
• Télécharger les poids de base (md5sum: cd0320cba9efad9ccd18e9ec4d16ae1b)
• Télécharger les poids Chat (md5sum: 663aeace07269c44e90f4e8bcd07f32a)
• Dépôt GitHub contenant le modèle, le code d’inférence, etc.
• (⚠️Publicité⚠️) Lire une présentation un peu plus détaillée sur la communauté coréenne PyTorch