OpenOrca - dataset et modèle de langage ajusté par instruction en open source

• Reproduction en open source basée sur le contenu de l’article Orca de Microsoft
  • Environ 1 million de FLANv2 enrichis avec des complétions GPT-4
  • Environ 3,5 millions de FLANv2 enrichis avec des complétions GPT-3.4
• Inclut l’ensemble des 75k CoT présents dans le dataset FLAN-1m
• Actuellement en cours de fine-tuning de l’ensemble des poids sur la base de LLaMA-13B, avec l’objectif d’atteindre des performances similaires à celles de Microsoft
  • OpenOrca-LLaMA-13b pourrait être publié vers la mi-juillet
• Recherche de sponsors pour le calcul GPU afin de porter OpenOrca sur d’autres plateformes (Falcon, LLaMA, MPT, etc.)

[ninebow]

Ah, le lien renvoie vers une 404.

Vous pouvez consulter le dataset sur Open-Orca/OpenOrca sur HuggingFace ! :D

[xguru]

Ah, il semble que l’article ait été supprimé.

Il est toujours archivé sur WaybackMachine.

https://web.archive.org/web/20230629002546/…

J’ai remplacé le lien par celui de HuggingFace qui avait été partagé.