(Un insight très important qui analyse les schémas d’échec réels des modèles de raisonnement les plus récents, à la date de février 2026)
Argument central
- Les recherches existantes sur la sécurité de l’IA se sont concentrées sur la misalignment systématique (la poursuite cohérente d’un objectif erroné)
- Dans les schémas d’échec réels des modèles récents, c’est l’incohérence et l’instabilité (variance / incoherence) qui ressortent bien davantage → cela pourrait constituer un problème plus grave
Observations principales (modèles de raisonnement récents comme Claude Sonnet 4, o3-mini, o4-mini)
- Difficulté de la tâche ↑ & longueur du raisonnement ↑ → hausse rapide de l’incohérence
- Problèmes faciles → les grands modèles sont plus cohérents
- Problèmes difficiles → même les grands modèles n’améliorent presque pas l’incohérence, voire l’aggravent
- Plus le modèle réfléchit longtemps par lui-même (overthinking naturel), plus l’incohérence explose
Classification des types d’échec
- Bias (erreur systématique) : va toujours dans la même mauvaise direction (misalignment typique)
- Variance (erreur incohérente) : donne à chaque fois une réponse absurde différente à la même question → imprévisible
- Indicateur d’incohérence = proportion de variance parmi les erreurs (plus c’est proche de 1, plus le modèle hésite dans tous les sens)
Cause fondamentale
- Les LLM ne sont pas des optimiseurs (optimizers), mais des systèmes dynamiques (dynamical systems)
- Leur structure trace des trajectoires dans un espace d’états de grande dimension → poursuivre un objectif de manière cohérente est intrinsèquement difficile
- À mesure que l’échelle augmente, la « reconnaissance de l’objectif » s’accélère, mais la capacité à « poursuivre cet objectif jusqu’au bout de façon cohérente » progresse relativement plus lentement
Implications pour la sécurité de l’IA
- Les futurs types d’accidents liés à l’IA pourraient davantage ressembler à des « accidents d’hésitation au niveau d’un accident industriel » qu’à une « poursuite malveillante d’un objectif »
(ex. : lire de la poésie française puis soudain partir complètement en vrille) - Il faut revoir les priorités de recherche
- Plus encore qu’un alignement parfait des objectifs (alignment), il est urgent de réduire les biais + empêcher le reward hacking + clarifier les mauvaises spécifications d’objectifs
- L’incohérence ne garantit pas la sécurité (elle peut au contraire être plus dangereuse parce qu’elle est imprévisible)
Points de conclusion
- La menace principale des échecs de l’IA se déplace des erreurs systématiques vers des erreurs incohérentes et erratiques
- Il faut repenser la recherche sur l’alignement depuis la perspective des systèmes dynamiques
- Croire simplement que « plus l’IA devient intelligente, plus elle devient sûre » est dangereux
1 commentaires
Pourquoi ne pas résoudre cela en créant plusieurs agents de supervision pour parvenir à un consensus sur l’avis d’audit ? Un groupe d’audit indépendant du workflow principal, chargé de surveiller l’intégralité du CoT du workflow principal !