J’aimerais solliciter des conseils sur les limites de l’injection de connaissances de domaine dans les petits modèles (Gemma 3 270M/1B) et sur les stratégies de fine-tuning.

J’ai récemment essayé d’utiliser les petits modèles Gemma 3 pour effectuer du fine-tuning SFT et LoRA sur le domaine de la recommandation de films. Au cours de l’expérimentation, j’ai ressenti certaines limites concernant la capacité des petits modèles (SLM) à acquérir des connaissances, et je souhaite donc poser la question.

[Expérimentation]

• Modèles utilisés : gemma-3-270m-it, gemma-3-1b-it
• Méthodes d’entraînement : LoRA et SFT
• Résultats : le modèle 1B parvenait à raisonner dans une certaine mesure en s’appuyant sur ses connaissances existantes, mais le modèle 270M m’a donné l’impression qu’en raison de la limite du nombre de paramètres, il lui manquait tout simplement la « capacité d’accueil » nécessaire pour intégrer de nouvelles connaissances de domaine.

J’ai consigné l’ensemble du processus de tuning dans plusieurs billets de blog ci-dessous.
https://seungsang.tistory.com/entry/…

---

[Problèmes rencontrés]

• Limite de capacité de LoRA : comme les paramètres entraînés ne représentent qu’environ 1 % du total, il y avait des limites pour l’injection de connaissances au-delà d’une simple adaptation à la tâche (Task Adaptation).
• Dilemme du fine-tuning complet (Full Fine-tuning) : si l’on met à jour l’ensemble des poids du modèle, cela est favorable à l’injection de connaissances, mais je pense que les capacités générales de raisonnement déjà présentes risquent d’être perdues. Même si je voudrais mélanger des données de replay pour éviter cela, la situation est compliquée car les données d’entraînement du modèle de base ne sont pas publiques.

Dans le cas du cinéma, je pense que le fine-tuning était possible parce que le modèle possédait déjà des connaissances dans ce domaine.
Mais si je veux m’appuyer sur un domaine spécifique, comment devrais-je procéder ?
Quelles stratégies permettraient, lorsqu’on veut spécialiser un petit modèle dans un domaine précis, de surmonter la faible capacité en paramètres et d’injecter efficacement des connaissances de domaine ?

Je serais très reconnaissant pour vos conseils. Je vous remercie également si vous pouvez partager diverses expériences, notamment autour du CPT (Continue Pre-training).

[bungker]

Moi aussi, j’ai cru devenir fou en essayant de faire du fine-tuning avec le 7B sans y arriver. Ça me fait remonter un PTSD.

[liang1008]

Vous y travaillez toujours ?

Auriez-vous par hasard des retours d’expérience et quelques conseils ou astuces ?

[mammal]

LoRA et le fine-tuning ne sont pas adaptés à l’injection de connaissances. LoRA et le fine-tuning sont surtout optimaux pour corriger le style ou le ton de sortie. Il est bien plus efficace d’inclure les informations de connaissance dans le prompt d’entrée sous forme de RAG, puis d’évaluer le rappel et la précision des données produites avant de procéder à LoRA ou au fine-tuning.

[tsboard]

Je souhaiterais moi aussi ajouter ma voix en faveur de l’usage du RAG.

[liang1008]

Merci pour votre réponse.

Dans le cas d’un RAG, je me demande un peu comment récupérer les données pertinentes liées au domaine.
Faut-il entraîner le modèle d’embedding lui-même…

Je voulais aussi réduire le nombre de tokens du petit modèle, donc je souhaitais internaliser les connaissances, mais il semble qu’il y ait des limites avec LoRA.

Je vais réfléchir à ce que vous avez mentionné. Merci.