Le nouveau modèle open source d’OpenAI est en pratique un Phi-5

• OpenAI a publié ses premiers grands modèles de langage gpt-oss-120b et gpt-oss-20b, qui obtiennent d’excellents résultats sur certains benchmarks mais présentent des limites en utilisation réelle
• Ces modèles possèdent des connaissances générales, mais sont jugés insuffisants dans certains domaines spécifiques comme la culture populaire
• Comme la série Phi de Microsoft, l’entraînement centré sur des données synthétiques permet d’améliorer les performances benchmark, mais réduit souvent l’utilité opérationnelle
• L’apprentissage sur données synthétiques a l’avantage d’améliorer la sécurité et de réduire les risques de mauvais usage liés à une publication open source
• OpenAI semble avoir choisi une approche de type Phi pour conserver une avance benchmark face aux modèles open source chinois tout en préservant la sécurité

---

Première publication d’un LLM open source par OpenAI

• OpenAI a annoncé gpt-oss-120b et gpt-oss-20b comme ses premiers grands modèles de langage open source, et ils peuvent être utilisés pour discuter directement via le web
• Ils affichent d’excellentes performances sur certains benchmarks, mais reculent sur certains tests spécifiques comme SimpleQA
• Ils sont réputés être riches en connaissances générales, notamment scientifiques, mais manquer de connaissances en culture populaire
• Leur utilité réelle ne devrait devenir claire que dans environ six mois, avec une forte probabilité que les performances en conditions réelles restent inférieures aux benchmarks

Modèles Phi et apprentissage par données synthétiques

• En 2024, la série Phi initiée par Sebastien Bubeck chez Microsoft est constituée de modèles entièrement entraînés sur des données synthétiques
• Les données synthétiques sont des textes pédagogiques générés par d’autres modèles de langage ou sélectionnés par des humains, plus faciles à contrôler et à garantir en qualité, mais coûteux à produire
• Cette méthode augmente les scores de benchmark, mais tend à produire des résultats inférieurs aux attentes en environnement réel
• Les données synthétiques peuvent être générées facilement pour correspondre aux types de questions de benchmarks, ce qui facilite un entraînement orienté examen, mais réduit la généralisation

L’arrivée de Sebastien Bubeck chez OpenAI et gpt-oss

• À la fin de 2024, Bubeck a quitté Microsoft pour rejoindre OpenAI
• Les détails des données de pré-entraînement de gpt-oss n’ont pas été rendus publics, mais il est probable qu’elles soient fortement filtrées ou synthétiques
• Cette approche peut conférer des caractéristiques proches de Phi-5 et Phi-5-mini

Avantages de la sécurité avec les données synthétiques

• Les modèles open source peuvent être fine-tunés sans limites après publication, ce qui peut poser des problèmes de sécurité
• En particulier, l’un des principaux usages non officiels des petits modèles de langage est le roleplay adulte, ce qui rend la sécurité cruciale
• En entraînant avec des données synthétiques ou issues de manuels, il est possible de ne pas inclure de contenus sensibles, augmentant ainsi la sécurité
• OpenAI semble avoir choisi une stratégie lui permettant de conserver un avantage benchmark par rapport aux modèles open source chinois tout en maintenant la sécurité

Conclusion : de fait une lignée Phi-5

• Les modèles gpt-oss semblent conçus autour d’un design priorisant la sécurité via des données synthétiques, avec une priorité donnée aux scores de benchmark et à la sécurité plutôt qu’aux performances opérationnelles
• Ces modèles ont donc en pratique une nature comparable à celle de Phi-5 et Phi-5-mini

[GN⁺]

Avis de Hacker News

• J’ai testé le modèle en lui faisant traduire des extraits aléatoires de romans SF, et celui-ci a réagi par un refus lorsqu’il s’agissait de traiter des contextes impliquant des mineurs et la sexualité. Pour trouver la source du problème, j’ai découpé des parties du roman ; c’est une seule ligne de dialogue, totalement pure et romantique, entre deux personnages secondaires de 17 ans qui était en cause. Un autre problème est qu’à l’occasion, même quand j’essaie de parler de choses ordinaires de la vie courante, un paragraphe entier se transforme en caractères censurés ou un refus apparaît soudainement. Avec un tel niveau de censure, ce modèle ne sert à rien pour la création, la traduction, ou des tâches réalistes (sauf maths/codage). Même pour un 120B MoE, le niveau de connaissance est trop bas. Même quand il « raisonne », on a l’impression qu’il vérifie surtout si une règle de politique est violée. J’avais pensé que c’était seulement parce que le post-entraînement bloquait trop les propos à risque, mais je comprends en partie que c’est aussi dû à la pré-formation basée sur des données synthétiques dès l’origine.

  • J’ai vécu cette expérience vraiment amusante aussi. En entrant dans un LLM le script brut d’un podcast pour en extraire une phrase importante, toutes les expressions crues comme « être attaché au lit » ont été transformées en euphémismes. Je voulais consulter les anciennes traductions, mais cette fois, en passant par une traduction en espagnol puis retour, la phrase réelle est revenue quasiment intacte, donc sans cette répétition bizarre.

  • Je me demande comment ce modèle réagirait face à des romans comme A Song of Ice and Fire.

  • Finalement, ce n’est pas une surprise pour un modèle open source public destiné aux consommateurs. Si tu veux ce que tu veux vraiment, mieux vaut chercher et utiliser un modèle open moins censuré.

• J’ai vu sur Twitter des gens se plaindre que GPT-OSS n’était pas personnalisable et « n’avait pas d’âme », sans expliquer la plupart du temps ce qu’ils voulaient faire. La réponse « la principale intention du fine-tuning des petits LLM est le roleplay érotique, et qu’il y a une vraie demande » m’a finalement aidé à comprendre.

  • Il n’y a pas seulement un problème avec le roleplay érotique : dans mon mode de vie quotidien où les conversations sexuelles reviennent souvent, la synthèse de conversation, la correction d’e-mails et la traduction sont aussi bloquées directement. Google Translate étant trop littéral, j’utilise un LLM pour obtenir des formulations plus naturelles, et j’utilise actuellement abliterated llama 3.1. Je n’ai pas besoin de la vision, je veux plutôt exploiter davantage la mémoire stockée dans le contexte. Sans uncensoring de GPT-OSS, il est inutile. Mais s’il n’y a absolument rien de contenu érotique dans les données d’entraînement, il est normal qu’on ne puisse pas forcer quoi que ce soit, et je n’ai aucun intérêt à demander un erotic roleplay. Sans vraie personne, il n’y a pas d’intérêt.

  • Ce n’est pas pour un objectif strictement roleplay, je veux juste qu’il colle un peu mieux avec mes habitudes linguistiques.

  • Je ne fais pas de roleplay érotique, mais je veux implémenter NetHack avec l’IA : génération de structure de donjons, dialogues NPC, et laisser l’IA gérer les innombrables micro-interactions pour lesquelles NetHack est réputé. Pour ce type de tâches, l’« âme », les connaissances de contexte et la capacité d’utiliser des outils sont indispensables.

  • La pornographie a toujours été une frontière créative. Le modèle économique est simple, et le média lui-même est souvent le produit. Dans les années 80, le porno à la maison était une nouvelle expérience et a fortement influencé les lignes 1-900, Internet, et même la diffusion des smartphones. Environ 80 % de la consommation de contenu adulte se fait sur mobile. Le cœur de ce domaine avec l’IA, c’est l’expérience en demande, personnalisée et multimédia. Et le fait de pouvoir faire des jeux de rôles interdits sans victime réelle est quelque chose d’unique. Une fiction du type « ah, en fait c’était une IA avec laquelle je parlais… » peut être un matériau tout à fait exploitable.

  • Je ne vois pas ce qu’il peut y avoir de problématique. Depuis des millénaires, la littérature érotique existe depuis le début de l’écriture humaine. Istanbul 2461

• Extrait de l’article : « Microsoft a poursuivi l’entraînement de modèles de type Phi pour une question de sécurité. Une fois open source, leur nom leur colle à la peau pour toujours, et les chercheurs font tout pour retirer les garde-fous. » Je pense pourtant que ce n’est pas vraiment problématique. Llama 2 et 3 ont été désensurés en une semaine, sans controverse. En revanche, c’est un modèle de faible qualité qui fait vraiment mal à la réputation d’une entreprise. L’échec de Llama 4 a bien plus endommagé la réputation IA de Meta.

  • Quand je pense à Llama, c’est la version désensurée qui me vient d’abord à l’esprit. Je ne l’ai jamais utilisé personnellement, mais il y avait bien mieux que d’utiliser un modèle censuré.

  • Dire que « les chercheurs sont obsédés par l’enlèvement des protections » est juste une excuse, à mon avis. En réalité, c’est un risque plus grand que cette censure à côté soit source de moquerie. L’image me vient que Bill Gates n’aurait pas lancé MS Paint en 1985 parce que « quelqu’un pourrait dessiner des images obscènes » — ce serait vraiment absurde.

• J’ai assez bien utilisé Phi-4 chez moi, et le GPT-OSS 20B avait été extrêmement convaincant en comparaison avec plusieurs modèles (Devstral 24B, Falcon 3 7B, Qwen2.5-coder 14B, Phi 4 14B). Là où tous les autres modèles échouaient, GPT-OSS les corrige bien et fait des inférences raisonnables. Ses explications de code sont aussi beaucoup plus détaillées, récupérant les détails qui peuvent facilement être manqués. Si les performances GPU le permettent, ce serait quasiment parfait.

  • Avec un Strix Point ou un Strix Halo équipé de 128 Go de RAM DDR5, GPT-OSS 120B peut tourner à 10-20+ TPS.

  • Je me demande s’il est possible de partager quel était le problème SQL, ou si c’est volontairement caché pour éviter une fuite des données d’entraînement.

• Je m’interroge sur la manière dont les données synthétiques sont générées. Est-ce qu’on se contente de démarrer puis d’échantillonner, ou bien on utilise des techniques automatiques de génération et de filtrage de prompts, ou un mécanisme de feedback pendant l’entraînement ?

  • Je ne connais pas Phi-5, mais pour les modèles Phi précédents, je sais que la plupart des données d’apprentissage provenaient de données réelles, en faisant apprendre aux grands modèles de la série OpenAI GPT des récits fondés sur des données réelles.

  • Nous avons fait des expériences chez meta/FAIR, et c’est expliqué en détail dans le papier Llama 3. On prend comme seed des sites web/code/images/table des matières/données utilisateur arbitraires, puis on laisse le modèle générer les données associées. Ensuite les données générées passent par une série de vérificateurs (Verifiers) pour passer un contrôle qualité.

  • Une manière de générer des échantillons aléatoires consiste à insérer automatiquement des éléments personne/action/lieu dans un canevas de type « PP fait GG à XX ». Mais même avec le même prompt, les résultats ne sont pas totalement aléatoires, donc augmenter la température n’a pas produit de grande différence. En fin de compte, ce qui crée la différence réelle entre modèles, ce sont les données et les méthodes ; c’est pour ça que les détails de la synthèse sont gardés quasi secrets.

  • En général, on utilise le rejection sampling : le modèle génère plusieurs échantillons, et les échantillons qui ne passent pas certains critères (réponse exacte, jugement par un grand modèle, etc.) sont rejetés.

• J’ai vu une évaluation disant « la connaissance scientifique est large, mais la culture populaire est mal couverte », et je pense que c’est une bonne direction. Les informations récemment publiées peuvent changer du jour au lendemain, donc mieux vaut cibler la compréhension globale, la capacité de recherche d’informations récentes et l’usage d’outils plutôt que mémoriser des listes de culture populaire.

  • Je me demande si c’est vraiment susceptible de changer. Si on apprend presque tous les textes du monde, le passage de la culture pop de 2025 à 2026 ne changera pas énormément — c’est un peu comme la culture pop des années 80, qui reste figée même avec le temps.

  • Il est un peu triste de voir que l’IA consacre de la capacité de modèle à une connaissance encyclopédique populaire comme Harry Potter, Pokémon, les mèmes Reddit.

• L’objectif de Phi3 mini était d’être exécutable en embarqué sur appareil et de tenir la vitesse, et avec 128K de contexte et 3B de paramètres, il était déjà assez utile. Je l’ai utilisé dans un projet l’an dernier, mais j’ai finalement choisi un modèle Mistral connu pour ses open weights pour les performances.

• Je me demande si on peut obtenir des résultats comme celui-ci avec un modèle entraîné uniquement sur des données synthétiques.

  • En principe, un modèle ne peut dire « je sais » quelque chose qui n’existe nulle part dans son jeu d’entraînement. Bien sûr, il peut utiliser des outils pour obtenir des informations externes, mais en pratique, pour de bonnes performances il faut incorporer la majorité des textes publiés au monde dans les données d’entraînement.

  • C’est théoriquement possible. Voir le lien. La probabilité qu’un contenu sensible et ciblé comme des recettes de fabrication de LSD ou VX figure dans des données synthétiques est faible, mais il peut y en avoir quelques-uns indésirables.

• Selon le tableau 9 (model card GPT-OSS), le taux de réussite de GPT-OSS-20b/120b est de 0.067/0.168, et le taux d’hallucination de 0.914/0.782. Pour o4-mini, c’est 0.234 et 0.750. En résumé, GPT-OSS manque presque totalement de connaissances du monde réel et hallucine fortement. C’est aussi une caractéristique de toute la série Phi-LLM. D’après le tableau 4 (OpenAI o3/o4-mini), o3 a un taux de réussite de 0.49 et o4-mini de 0.20, avec hallucinations respectives de 0.51 et 0.79. En bref, l’écart de connaissance réelle entre o3 et o4-mini, puis entre o4-mini et GPT-OSS, est conséquent. Le manque de connaissances réelles de GPT-OSS est plutôt une caractéristique de cette série, due au « garde-fou entreprise » ou à la « censure » côté utilisateur. Référence model card 1
  Référence model card 2

• L’opinion selon laquelle « la principale demande du fine-tuning des petits LLM est le erotic RP et la moitié des micro-communautés réelles s’intéressent à cela » m’a vraiment surpris.

  • De fait, pendant les premières décennies, la majeure partie du trafic internet pour les utilisateurs était du porno. Sans réagir excessivement, je pense que c’est aussi une bonne chose de bien tirer parti des efforts de ces personnes qui résolvent des problèmes techniques gratuitement.