OpenMythos : hypothèse d’architecture de Claude Mythos reconstituée à partir de recherches publiques, ou nouvel emballement autour de l’IA ?

Aperçu

• OpenMythos est présenté comme une expérience d’architecture théorique visant à reconstituer, à partir de recherches publiques, une structure similaire à Claude Mythos
• L’article ne considère pas OpenMythos lui-même comme un simple « slop »
• Il prend plutôt OpenMythos comme cas d’étude pour montrer comment, dans la communauté IA, les README, les résumés produits par l’IA, la diffusion sur YouTube/Reddit et les étoiles GitHub fabriquent une conviction publique avant la vérification
• L’article appelle ce phénomène « sheepwave »
• Ici, sheepwave ne désigne ni l’ignorance ni une simple curiosité, mais le moment où un récit techniquement plausible et émotionnellement séduisant se fige en certitude collective avant toute validation
• L’idée centrale n’est pas que « OpenMythos n’est pas intéressant », mais que le problème vient de la manière dont un artefact de recherche intéressant est consommé comme s’il s’agissait d’une percée architecturale déjà validée

---

Ce qu’est OpenMythos

• OpenMythos n’est pas un modèle qui copie directement Claude Mythos ni un modèle issu d’une fuite
• Son développeur explique qu’OpenMythos n’est pas une réimplémentation validée de Claude Mythos, mais une expérience d’architecture théorique combinant plusieurs pistes issues de la recherche publique.
• Si OpenMythos a attiré l’attention, c’est aussi parce que le nom Claude Mythos portait déjà une part de mystère
• L’architecture complète de Claude Mythos n’ayant pas été publiée, la communauté s’est retrouvée avec la question : « qu’y a-t-il à l’intérieur ? »
• OpenMythos vient remplir ce vide en proposant une forme de réponse : « cela pourrait ressembler à ça »
• En ligne, la formule « OpenMythos a reconstitué Claude Mythos » se propage bien plus vite que « expérience spéculative d’architecture à profondeur récurrente fondée sur la recherche publique »

Pourquoi OpenMythos a attiré si vite l’attention

• OpenMythos active en même temps plusieurs attentes auxquelles la communauté IA a déjà envie de croire

1. L’espoir d’une meilleure efficacité paramétrique

• L’idée qu’un petit modèle à profondeur récurrente puisse atteindre une qualité proche d’un Transformer plus grand à profondeur fixe constitue un message fort
• Le récit selon lequel « on peut devenir plus profond sans devenir plus gros » séduit une communauté fatiguée par le coût des GPU et par la centralité des frontier labs

2. Les architectures en boucle

• Le calcul itératif donne visuellement l’impression d’un système « qui réfléchit »
• Mais le calcul répétitif avec poids partagés n’est pas la même chose qu’une véritable capacité de raisonnement ou qu’un comportement adaptatif

3. L’espoir autour du matériel personnel ou compact

• La combinaison d’une structure à profondeur récurrente et d’une compression de cache de type MLA nourrit l’idée qu’un petit modèle pourrait donner l’impression d’en être un plus grand
• En pratique, il reste pourtant des problèmes d’ingénierie liés au coût des branches, au comportement mémoire, à la stabilité de l’entraînement, à l’efficacité des kernels, à la précision des dépendances et au débit

4. Le nom même de Claude Mythos

• Tant qu’Anthropic ne publie pas la structure complète, OpenMythos fournit la « forme » que la communauté veut voir

5. Le fait qu’un même dépôt réunisse des mots-clés récents de l’architecture IA comme MoE, MLA, LTI, ACT et profondeur récurrente

• Pour cette raison, il est difficile d’écarter OpenMythos comme un simple emballement vide
• Parce qu’il y a de vraies idées derrière, l’emballement peut au contraire devenir encore plus fort

Comment fonctionne le sheepwave

• L’article décrit les réactions autour d’OpenMythos en trois étapes

1. La phase de croyance

• Face à des indices comme Claude Mythos, l’open source, la profondeur récurrente ou l’efficacité paramétrique, les gens réagissent d’abord à la possibilité
• À ce stade, c’est la « plausibilité séduisante » qui est consommée avant la réalité du parcours d’entraînement ou la reproductibilité des performances

2. La phase d’amplification

• YouTube, Reddit, les newsletters, les publications sociales et les résumés IA répètent la version la plus forte du récit
• À ce stade, il n’est pas nécessaire de reproduire les benchmarks ni de valider le parcours d’entraînement
• Ce qui compte, c’est « l’histoire qui se diffuse bien »

3. La phase de doute au niveau du code

• Les analystes du code cloneraient le dépôt et examineraient les scripts d’entraînement, le cheminement du routeur, la logique ACT, le traitement des branches MoE et les réglages de grand contexte

• Mais cette étape arrive généralement trop tard

• Cette structure relève d’un problème d’asymétrie informationnelle

  • Une phrase comme « un modèle de 770M atteint des performances de niveau 1.3B » se diffuse très vite
  • En revanche, des questions comme « cette affirmation d’efficacité est-elle réellement reproduite dans ce dépôt, le traitement des branches MoE tient-il à grande échelle, ou les biais du routeur sont-ils effectivement mis à jour dans les scripts d’entraînement ? » exigent une longue revue de code

• Une phrase devient un post, l’autre exige une revue

• C’est pourquoi la mémoire collective retient les affirmations simples, tandis que les résultats d’audit finissent souvent en note de bas de page tardive

Pourquoi ce sheepwave est différent

• Dans cet emballement, les assistants IA jouent un rôle

• Si l’on donne un lien GitHub à une IA, elle peut lire le README, l’arborescence des fichiers, les termes d’architecture et les références plausibles, puis produire un résumé convaincant

• C’est utile, mais ce n’est pas une validation

• Dans un environnement de chat classique, un assistant IA ne va généralement pas :

  • reproduire un entraînement multi-GPU
  • reproduire des courbes de benchmark
  • observer si l’équilibrage du routeur tient dans un entraînement long
  • mesurer le débit MoE
  • vérifier l’initialisation et le comportement mémoire d’un réglage de grand contexte

• Ainsi, les réactions du type « même l’IA a été impressionnée » peuvent relever non pas d’une validation du code, mais d’une réaction au README et à la structure de surface du dépôt

• La distinction centrale de l’article est la suivante

  • parfois, l’IA est impressionnée par le code
  • parfois, l’IA est impressionnée par le README
  • ce n’est pas la même chose

• Cet emballement ne porte pas sur des « agents qui agissent », mais sur une architecture « qui a l’air de penser »

• Or ce type d’emballement architectural s’effondre rarement à cause d’un échec spectaculaire en démo ; ses faiblesses apparaissent plutôt dans des zones discrètes comme le parcours d’entraînement, la reproductibilité des benchmarks, la loss function, l’état d’intégration ou les chemins d’exécution

Résultats de l’audit au niveau source

• L’article présente aussi les résultats d’un audit au niveau source d’OpenMythos

• Cet audit confronte l’implémentation du modèle, les scripts d’entraînement, les configurations des variantes, le tokenizer, les tests, les fichiers de dépendances et les affirmations du README aux chemins de code réellement présents

• Conclusion de l’audit : OpenMythos n’est pas un emballement vide (« empty slop »)

• Certains éléments sont effectivement implémentés

  • une structure Prelude + Recurrent Block + Coda est bien présente
  • la stabilisation récurrente de type LTI est évaluée comme l’un des éléments d’implémentation les plus solides
  • la compression de cache de type MLA est liée à la question du traitement de longs contextes
  • une logique d’arrêt de type ACT est également présente
  • la profondeur récurrente peut effectivement entrer dans les discussions sur le scaling, la répartition du calcul, l’itération, la mémoire et le routage

• Mais on reste loin du niveau de préparation opérationnelle suggéré par le récit public

Principaux écarts identifiés par l’audit

• L’affirmation d’efficacité 770M vs 1.3B

  • elle ne correspond pas à un résultat reproduit dans le dépôt, mais davantage à une affirmation ou une citation externe
  • il est donc plus juste de la considérer comme « une citation, pas un résultat »

• Le routage MoE

  • la logique de routage existe, mais le traitement avec des branches Python imbriquées doit être vu comme un risque de débit à grande échelle
  • cela ne signifie pas « impossible dans tous les cas », mais bien « risque à profiler dans la pratique »

• L’équilibrage du routeur

  • le mécanisme de biais du routeur est exposé, mais aucun chemin de mise à jour explicite n’apparaît dans les scripts d’entraînement publiés
  • sur des entraînements longs, le risque de déséquilibre de charge peut donc augmenter

• La logique d’arrêt ACT

  • une logique d’arrêt de type ACT est bien présente
  • mais le parcours d’entraînement publié n’inclut pas de ponder loss explicite ni de terme de régularisation du calcul
  • la tête d’arrêt peut recevoir des gradients indirectement via la loss du modèle de langage, mais aucun objectif n’encourage directement un arrêt adaptatif efficace

• Le module MoDA

  • il existe dans un fichier expérimental séparé, mais il semble difficile de considérer qu’il est intégré au modèle principal

• Les grandes variantes du modèle

  • les configurations 100B+ ou 1M de contexte ressemblent davantage à des configurations orientées objectif qu’à des réglages réellement exploitables, en raison d’une structure qui crée immédiatement les buffers RoPE

Le problème du label « recherche »

• OpenMythos peut être vu non comme un modèle opérationnel, mais comme une reconstruction théorique ou un artefact de recherche
• Ce label est en soi légitime
• Les projets de recherche peuvent inclure des parcours d’entraînement incomplets, des structures expérimentales et des intégrations inachevées
• Le problème est que le label « recherche » et l’emballement public ne parlent pas la même langue

Différence entre label de recherche et emballement public

• Label de recherche : « c’est une expérience théorique »

  • Emballement public : « cela va changer l’avenir de l’IA »

• Label de recherche : « c’est une reconstruction fondée sur la recherche publique et l’inférence »

  • Emballement public : « quelqu’un a réimplémenté Claude Mythos »

• Label de recherche : « c’est une architecture à explorer »

  • Emballement public : « les petits modèles peuvent désormais réfléchir comme les grands »

• L’article résume ce décalage ainsi : « le projet parle dans la langue de la recherche, mais la réaction publique la traduit dans la langue de l’aboutissement »

Trois couches pour évaluer un dépôt IA

• L’article estime qu’il faut distinguer trois couches lorsqu’on évalue un dépôt open source d’IA

1. Le récit (Narrative)

• ce que racontent le README, les billets explicatifs et les publications sociales

2. Le mécanisme (Mechanism)

• la structure réellement implémentée par le code

3. Le parcours opérationnel (Operational path)

• ce que les parcours d’entraînement, d’exécution et d’évaluation permettent réellement de faire

• La plupart des emballements autour de l’IA fusionnent ces trois couches en une seule

• Une bonne due diligence d’ingénierie les sépare

Conclusion

• OpenMythos n’est pas quelque chose qu’il faudrait ignorer ou tourner en ridicule
• C’est un artefact de recherche utile, intéressant et techniquement porteur d’enseignements
• Mais cela ne prouve pas qu’une architecture, à elle seule, a déjà vaincu les limites d’échelle
• Le README est un point de départ, pas l’aboutissement de la validation
• La conclusion de l’article se résume ainsi : « le README n’est pas la rive. Les chemins de code sont la rive »
• Les articles liés comprennent une analyse complète du sheepwave ainsi qu’un rapport d’audit séparé d’OpenMythos v0.5.0 au niveau source
  https://flamehaven.space/writing/…