En 2024, la communauté Instruct-Korea https://instruct.kr est devenue l’une des plus grandes communautés open source de modèles de langage en Corée, avec environ 700 chercheurs qui partagent volontairement leurs résultats, grâce au lancement du leaderboard LogicKor.
À l’approche du Nouvel An 2025, nous souhaitons proposer un moment où les membres de la communauté Discord Instruct-Korea pourront partager leurs orientations et actualités de recherche, et échanger entre eux. Le thème de ce meetup est « Mes idées et mes défis dans la recherche sur les modèles de langage ». Nous espérons écouter les expériences des autres, partager nos propres idées de recherche, et favoriser les échanges entre des personnes aux points de vue variés.
L’événement aura lieu le 25 janvier 2025 (samedi), de 14 h à 18 h.
Le lieu est Nons, près de la station Gangnam (624-17, Yeoksam-dong).
Questions : https://instruct.kr
Le sponsoring du lieu est assuré par Nons Community (https://nonce.community/)
Présentation des intervenants Plusieurs intervenants seront mis à jour prochainement.
Go Seok-hyeon (Sionic AI) Il partagera son parcours dans le traitement du langage naturel avec Scala en JVM. En particulier, il parlera de son expérience de portage d’un code de deep learning basé sur Python vers des langages JVM, puis de sa mise en production.
Kim Jisoo (kuotient, Allogenize) : Développement du modèle Qwen2.5 en coréen À travers « Développement du modèle Qwen2.5 en coréen », il partagera un processus innovant de développement de modèle de langage. En particulier, le processus ayant permis une amélioration de performance marquante à 37,60 sur m-ArenaHard retient l’attention. Il abordera l’ensemble du pipeline d’entraînement (SFT, Merging, Alignment) et présentera aussi des innovations techniques inédites en Corée, comme le remplacement de couches et l’introduction d’une stratégie on-policy. Il détaillera aussi le secret qui a permis d’obtenir la meilleure performance parmi les modèles en dessous de 8B.
Lee Seung-yu (dopeornope, Marker AI) : Guidance et quantization de LLM Le thème « Guidance et Quantization de LLM » mettra en lumière les tendances récentes d’une technologie LLM en plein essor. Il propose une analyse perspicace des concepts de LLM guidance et de quantization, ainsi que de leur direction d’évolution.
Yoo Yong-sang : Retour sur le concours de modèle de langage financier KRX Via « Retour sur le concours de modèle de langage financier KRX », il partagera un savoir-faire pratique sur le développement de modèles spécialisés par domaine. Il couvrira notamment les stratégies d’adaptation de domaine et de continual pretraining pour améliorer la performance sur le benchmark MCQA, ainsi que le safety auditing.
Choi Seon-woong : Retour sur un projet de développement RAG Il partage une expérience de terrain très concrète d’un projet RAG réel. En particulier, il mettra en avant les problèmes repérés au cours du projet, puis les leçons tirées et les axes d’amélioration.
Jang Young-jun (yjoonjang) : Modèles d’embedding en coréen Au sujet de « Modèles d’embedding en coréen » et de huggingface.co/nlpai-lab, il partagera les caractéristiques de divers modèles d’embedding et les points clés du processus d’entraînement réel. De la sélection du modèle d’embedding jusqu’à l’entraînement, il partagera des insights directement applicables en production.
Jung Se-min (Sionic AI) : Créer un Recsys avec Graph RAG - Storm fooding Avec « Créer un Recsys avec Graph RAG - Storm fooding », il partagera son expérience de création d’un système de recommandation basé sur un système Graph RAG. Il abordera l’ensemble du processus, de la conception du système jusqu’à l’implémentation.
Kim Dong-gyu (Jeffrey Kim, AutoRAG) : Atteindre 3 000 stars GitHub Le sujet « Atteindre 3 000 stars GitHub » revient sur l’histoire de croissance du projet open source AutoRAG, de sa création à sa réussite en open source, et partagera les perspectives d’évolution futures.
maywell (instruct.kr, Wanot AI) TBD
Aucun commentaire pour le moment.