- "Less Is More for Alignment"
- Modèle LLaMA affiné avec seulement 1 000 prompts soigneusement sélectionnés, sans apprentissage par renforcement ni modélisation des préférences
- Jugé équivalent ou préféré à GPT-4 dans 43 % des cas ; 58 % face à Bard ; 65 % de mieux que DaVinci003 entraîné avec du feedback humain
- L’hypothèse du papier est que la quasi-totalité des connaissances d’un LLM est apprise pendant le prétraining, et que l’alignement est un processus simple consistant à apprendre le format/style d’interaction avec les utilisateurs
- Nouveau papier de Meta AI
4 commentaires
Il aurait fallu poursuivre le projet Sejong et continuer à accumuler en open source des données pour des modèles de langue coréens. C’est vraiment un projet qu’on regrette...
Les performances en anglais progressent si vite, mais c’est dommage que, à part GPT, la plupart des modèles ne maîtrisent pas bien le coréen...
Le niveau d’apprentissage du coréen de Claude d’Anthropic est assez élevé, mais sa maîtrise reste encore différente sur certains points par rapport à ChatGPT.
Bouhouhou, c’est vrai, en dehors de l’API GPT, tout le reste est vraiment au niveau des déchets pour le coréen...