- EXAONE 3.0 a été présenté en août 2024, puis converti en modèle ouvert après avoir été utilisé uniquement en interne chez LG
- Parmi une gamme conçue pour divers usages, le modèle 7.8B Instruction Tuned est publié en open source à des fins de recherche
- L’institut espère contribuer à des recherches significatives menées par les chercheurs en IA en Corée et à l’international, ainsi qu’au développement de l’écosystème IA
- Basé sur une architecture Transformer decoder-only, avec 7.8B de paramètres et 8T de données d’entraînement
Niveau mondial de premier plan en anglais : 1re place en score moyen sur les cas d’usage réels, excellentes performances aussi sur les benchmarks individuels
- Les performances en anglais du modèle 7.8B se situent à un niveau mondial de premier plan par rapport aux autres modèles
- Les résultats sur 4 benchmarks confirment des performances supérieures à celles des meilleurs modèles mondiaux
- 1re place en score moyen en mathématiques et en coding, avec également de hautes performances en reasoning
Des performances en coréen nettement supérieures : 1re place en score moyen à la fois sur les cas d’usage réels et les benchmarks individuels
- Modèle bilingue anglais/coréen, offrant aussi d’excellentes performances en coréen
- 2 benchmarks ont été utilisés pour vérifier les performances du point de vue des cas d’usage réels
- Les benchmarks individuels ont été conçus pour correspondre aux benchmarks d’évaluation en anglais, comme KMMLU
- Les résultats montrent la 1re place en score moyen à la fois sur les cas d’usage réels et sur les benchmarks individuels
Rentabilité assurée : coûts réduits à 6 % grâce à trois ans de R&D
- Pour l’adoption de l’IA, renforcer la rentabilité est indispensable en plus de l’amélioration des performances
- Pendant trois ans, les efforts se sont concentrés sur la R&D en techniques d’allègement des modèles d’IA et sur l’optimisation des coûts
- Par rapport à EXAONE 2.0, le modèle 7.8B réduit de 56 % le temps de traitement en inférence et de 72 % les coûts
- Par rapport à EXAONE 1.0, le coût a été fortement réduit jusqu’à 6 % du niveau initial
Transparence éthique : publication aussi des domaines nécessitant des améliorations, au-delà des bons résultats
- LG AI Research prend impérativement en compte l’éthique de l’IA dans le processus de R&D des modèles d’IA
- Le modèle EXAONE 3.0 7.8B a lui aussi fait l’objet d’un processus de Red Teaming pour évaluer son éthique et sa sécurité
- L’évaluation a été menée à l’aide de jeux de données internes et de jeux de données tiers externes
- Le modèle obtient de bons résultats pour prévenir la discrimination fondée sur le genre et les réponses illégales, mais certains points doivent encore être améliorés
- Les résultats de l’évaluation sont publiés de manière transparente pour faire progresser l’éthique de l’IA
- LG AI Research espère des recherches actives sur l’éthique de l’IA de la part des chercheurs et prévoit de poursuivre ses propres travaux
2 commentaires
J’espère qu’on aura de plus en plus souvent l’occasion de partager aussi des actualités nationales ici ;)