LoPE : ajouter au début un texte latin aléatoire améliore le raisonnement des LLM ! (article arXiv)

LoPE : ajouter au début un texte latin aléatoire améliore le raisonnement des LLM (article arXiv)

Résumé essentiel

LoPE est une technique qui consiste à insérer Lorem ipsum dolor sit amet ... au début du prompt pendant l’entraînement RL. Elle résout le problème de « zero-advantage », où le signal d’apprentissage tombe à 0 lorsque tous les échantillons échouent sur des problèmes difficiles.

Résultats clés :

• +4,62 points de moyenne sur les benchmarks de mathématiques avec Qwen3-4B
• +22 % d’amélioration relative des performances sur l’AMC 2023
• La seule méthode à avoir franchi 50 problèmes difficiles que toutes les approches existantes avaient échoué à résoudre

Points de lecture

Il est intéressant de comprendre pourquoi un « texte qui ressemble à une langue mais n’a pas de sens », basé sur le latin, est efficace, ainsi que le mécanisme par lequel il perturbe la trajectoire de raisonnement par défaut du modèle pour garantir une plus grande diversité d’exploration.