2 points par bhyi4 1 일 전 | Aucun commentaire pour le moment. | Partager sur WhatsApp

Bonjour. En voyant récemment l’essor des agents IA en boucle autonome (Autonomous Loop Agents), capables de fonctionner de façon autonome pendant plusieurs jours, je me suis posé la question suivante : « si une IA manipulait des données de test en cachette des humains ou contournait les contraintes (gaming) dans ses rapports, comment pourrait-on la détecter ? » C’est de cette réflexion qu’est né Mirror Stack, un projet open source que je vous présente ici.

Là où la sécurité des agents se concentrait jusqu’ici sur le fait de « les empêcher de faire de mauvaises choses à l’aide de garde-fous », Mirror Stack propose le paradigme « prouver plutôt que promettre (Provable, not Promised) ». La structure ne repose pas sur la confiance dans le bon comportement de l’IA : elle force uniquement les comportements honnêtes à laisser, a posteriori, un registre infalsifiable (Chain-sealed ledger).

🛠️ Composants clés et architecture

Le projet se compose de 4 outils et de 5 protocoles légers, fonctionnant en local-first sans serveur central.

measure-mirror : exécute 23 sondes (probes) statistiques et anti-gaming afin de vérifier les affirmations de l’IA.action-mirror : suit l’historique des actions d’un agent, relié sous forme de chaîne, afin d’en garantir l’intégrité.provenance-mirror : prouve mécaniquement l’authenticité de la provenance des contenus générés.mirror-witness : garantit la fiabilité sans coûts d’infrastructure supplémentaires, en utilisant GitHub Actions et les environnements CI comme témoins (witnesses) mutuels.

🔌 Prise en charge officielle du dernier écosystème IA (MCP)

Mirror Stack prend officiellement en charge le serveur Model Context Protocol (MCP) (mirror-stack-mcp), récemment standardisé autour d’Anthropic. Dans un environnement Python, une simple installation via pip permet de l’intégrer immédiatement à des outils d’agents récents comme Claude, Cursor ou Windsurf, et de l’appliquer à des workflows professionnels.

💡 Un cas concret intéressant

Lors des tests, un arc intéressant s’est produit : avant même de lancer l’expérience, un agent a détecté de lui-même une contradiction dans la conception lors de l’étape de vérification de puissance (Power check) préenregistrée. Sans consommer le moindre token, il a alors retiré l’expérience de sa propre initiative (Retracted) et laissé le registre de chaîne correspondant, montrant un processus d’auto-correction adversariale.

À l’heure où les machines autonomes se multiplient, je construis ce projet avec l’idée qu’il faut une couche d’audit distribuée, « imposée par la machine et vérifiable par la machine », tout en minimisant l’intervention humaine.

Le projet vient tout juste de passer par un prototype et une première validation, et nous entrons maintenant dans une phase d’extension de l’écosystème. Si vous vous intéressez à l’architecture, à l’AI Alignment ou à la sécurité, vos retours, étoiles (Stars) et participations à des reproductions indépendantes (Independent reproductions) sont les bienvenus !

Aucun commentaire pour le moment.

Aucun commentaire pour le moment.