Le logiciel après l’IA : l’ouverture de l’ère du harness chez Harness

• La fin de l’ère du logiciel marque le début de l’ère du harness, où les SaaS fonctionnant avec des workflows fixes et des bases de données managées sont en train d’être remplacés par une IA dotée d’intelligence
• L’IA est puissante, mais encore indomptée, comme un cheval sauvage, et exploiter sa puissance exige une domestication systématique
• Le harness d’un agent IA se définit par 7 composants clés autour du LLM central, et chacun détermine la fiabilité et les performances au niveau production
• À une époque où toutes les entreprises peuvent accéder aux mêmes modèles, ce n’est pas le modèle lui-même qui gagne, mais ceux qui conçoivent et opèrent le meilleur harness (best rider)
• Les milliers de marchés fragmentés que les grands labos ne priorisent pas restent une opportunité pour les startups

---

Le sens de l’ère du harness

• L’IA redéfinit le paradigme logiciel en remplaçant par de l’intelligence les SaaS fondés sur des workflows fixes et les bases de données managées
• L’IA est comparée à un mustang : puissante mais brute, inutilisable telle quelle, et le travail d’apprivoisement constitue précisément le harness
• L’essence de cet apprivoisement est une architecture centrée sur le LLM, avec 7 composants disposés en rayons autour de lui

Les 7 composants du harness d’agent IA

• 1. Context & Memory (contexte et mémoire)

  • Les modèles généralistes ont besoin d’une recherche sur mesure selon l’usage (bespoke retrieval) ; un système de recherche de contexte pour un radiologue ne peut pas être identique à celui d’un assistant juridique
  • Mémoire à court terme (« ce que l’agent faisait il y a 45 secondes »), recherche d’images à grande échelle (radiologie, génération d’images), recherche par mots-clés dans des milliards de documents : le système diffère selon les cas
  • À côté de la recherche se trouve une base de données de contexte, qui joue le rôle de « livre de recettes » de la manière dont l’entreprise fonctionne réellement
    • Les procédures opératoires standard (SOP) que les gens portent dans leur tête en arrivant au travail sont précisément cette recette
    • La capture initiale et l’évolution au gré des changements humains et des processus constituent l’essence de la base de contexte

• 2. Tools & Action (outils et action)

  • Les outils sont le moyen par lequel l’agent agit sur le monde extérieur ; si la recette de la base de contexte dit « quoi faire », les outils sont les ingrédients et instruments qui permettent de l’exécuter réellement
  • Les harness modernes exposent les outils via un registry, valident les arguments transmis par le modèle, répartissent les appels, font passer les opérations sensibles par des portes d’approbation, puis analysent les résultats dans la boucle de l’agent
  • MCP s’impose comme le tissu conjonctif (connective tissue) de la connexion aux outils
  • La qualité d’un harness se mesure au nombre d’outils qu’il peut exposer en toute sécurité et à sa capacité à gérer proprement les échecs

• 3. Orchestration & Loop (orchestration et boucle)

  • La boucle d’agent suit une structure think → act → observe → repeat
  • La planification, la décomposition des tâches, les sous-agents, les tentatives de reprise et les conditions d’arrêt définissent la manière dont le travail est exécuté
  • Le système doit s’améliorer à mesure qu’il est utilisé, et le modèle en boucle fermée qui apprend de chaque exécution devient un facteur de différenciation entre vendeurs

• 4. State & Persistence (état et persistance)

  • Dans les grandes entreprises où de nombreuses personnes utilisent le système en parallèle, la résilience est indispensable
  • Si le harness plante à l’étape 7 d’une tâche en 10 étapes, il doit reprendre à l’étape 8 plutôt que de recommencer depuis le début
  • Le système de fichiers, les checkpoints, les threads de session et les stockages d’artefacts sont les mécanismes qui évitent la perte de travail

• 5. Sandbox & Compute (sandbox et calcul)

  • Chaque agent a besoin d’un espace de travail isolé (sandbox)
  • Des workspaces Unix isolés, un trafic réseau sortant (egress) contrôlé et des identifiants (credentials) conservés hors du modèle garantissent sécurité, confidentialité et rapidité à grande échelle

• 6. Observability & Governance (observabilité et gouvernance)

  • « Ce qu’on ne peut pas voir, on ne peut pas lui faire confiance » : tracer chaque étape, journaliser chaque appel d’outil, exécuter des evals comme tests de régression, et prévoir une intervention humaine (human-in-the-loop) pour les décisions les plus risquées, voilà ce qui transforme une démo en système de production
  • Les guardrails imposent les politiques, et les evals détectent les régressions avant les clients

• 7. Cost & Workflow Optimization (optimisation des coûts et des workflows)

  • Le septième élément est le jugement architectural
  • Il faut distinguer ce qui relève du déterministe ou du non déterministe, choisir le bon modèle à chaque étape (de pointe, intermédiaire, petit, fine-tuned) et décider si la connaissance doit vivre dans une compétence ou dans la mémoire

Une nouvelle dynamique concurrentielle

• Le résultat est une nouvelle dynamique de concurrence dans le logiciel, qui ne s’applique pas de manière uniforme à toutes les catégories
• Les marchés prioritaires pour les grands labos (principaux instituts de recherche en IA) bénéficient de la rapidité d’exécution et du contrôle direct sur les modèles
• Mais au-delà, des milliers de marchés distincts s’ouvrent aux startups
• À une époque où toutes les entreprises peuvent utiliser les mêmes modèles, « les meilleurs cavaliers » (best riders) l’emportent : la capacité à concevoir et exploiter un harness devient l’avantage concurrentiel clé

[junghan0611]

Comme pi est très léger, je l’utilise souvent comme outil d’agent. En plus, j’ai créé pi-shell-acp pour y connecter aussi Claude Code et Gemini, et je l’utilise avec satisfaction. Je crée et utilise plusieurs skills, et plus j’essaie, plus je trouve la personnalisation à mon goût. Quand j’utilise directement Claude Code, Codex, etc., je passe en mode yolo et je désactive presque tous les outils intégrés au niveau de pi. Toute nouvelle fonctionnalité, je la coupe immédiatement, comme si je l’enfonçais à coups de maillet.

[runai]

J’ai supprimé tous les réglages de harness que j’avais mis en place.
À mesure que les modèles progressent, le harness finit par agir comme un facteur qui bride leurs performances.
Un réglage de harness maladroit produit au contraire des résultats encore plus médiocres.
Les réglages de harness qui existaient déjà jusqu’en 4.7 n’ont plus vraiment de sens en 4.8, et
même avec GPT 5.5, ils ne font que gêner.

[hanje3765]

Les composants du harness mentionnés dans le texte ne sont pas des sujets qui se résoudront simplement parce que l’intelligence des LLM augmente.

Si vous parlez du harness à l’époque où sa définition était floue, je peux comprendre ce point de vue, mais s’il s’agit du harness décrit dans le texte, cela semble être un domaine qui devra continuer à être géré à l’avenir.

[runai]

Plus qu’un problème d’intelligence, les modèles développent aussi des capacités d’usage distinctes de l’intelligence, comme l’orchestration ou l’utilisation d’outils. Or, le domaine de l’orchestration était justement l’un des éléments centraux de Harness, mais il est désormais lui aussi pris en charge. Dès lors, à l’heure actuelle, s’il existe une orchestration « bricolée maison » et une orchestration « officielle », laquelle faut-il utiliser ?

[kaydash]

Je suis d’accord. Il faut développer en y répondant ensemble.

[emptybynature]

Il y a un billet officiel sur le harnessing publié sur le site d’OpenAI. Il y est question du retour d’expérience et de conseils sur la manière dont le harnessing a été utilisé en interne chez OpenAI. Autrement dit, même OpenAI utilise le harnessing pour ses propres projets internes. Le harnessing est clairement nécessaire et a un impact direct sur la qualité de l’implémentation finale. Surtout, il peut réduire jusqu’à moitié le nombre de tokens nécessaires pour produire un résultat de même qualité. On peut donc y gagner à la fois en performance et en coût, il n’y a aucune raison de ne pas l’utiliser.

[runai]

Avec Opus 4.8, ultracode effort a été ajouté, et cela résout mieux que le précédent mode Harness artisanal des développeurs ce qu’il faisait auparavant. Par conséquent, je pense qu’à ce stade, il vaut mieux supprimer la partie orchestration du mode Harness que vous utilisiez.

[gulbi135]

Je suis d’accord. Moi aussi, j’ai retiré l’orchestration artisanale pour 4.7 et les contraintes de planification verbeuses, parce que sur 4.8 elles devenaient plutôt un frein.
Cela dit, sur une codebase de plusieurs centaines de milliers de lignes maintenue pendant des années, la vraie valeur du harnais n’est pas l’orchestration, mais la couche que ultracode ne peut pas remplacer (graphe de connaissances, conventions métier, invariants de validation) ; j’ai donc conservé cette couche de contexte et je n’ai parallélisé en workflow que les portions réellement indépendantes.
À l’inverse, pour un nouveau projet, je pense qu’ultracode est plus approprié sans forcément ajouter un harnais. Au final, ce n’est pas vraiment une question de « supprimer ou conserver », mais quelque chose qui dépend de l’âge de la codebase et de son niveau de couplage.

[runai]

Oui, c’est exact. La partie retirée de l’orchestration conserve toujours de la valeur.