Function Calling Harness, faire passer le taux de réussite de 6,75 % à 100 %

> Contenu d’une présentation donnée après une invitation en tant qu’intervenant au Qwen Meetup Korea.

Comment faire fonctionner de manière fiable le function calling avec des types union récursifs. qwen3-coder-next n’affichait qu’un taux de réussite de 6,75 % au premier essai, et toute la gamme Qwen 3.5 était à 0 % à cause d’un bug de double-stringify, mais l’ingénierie du harness a permis d’atteindre 100 %.

• AutoBe : quand le LLM remplit une structure AST via le function calling, le compilateur génère le code. Vérification du compilateur en 4 étapes + boucle d’auto-réparation.
• Typia : à partir d’un seul type TypeScript, génération automatique à la compilation de JSON Schema, parseur, validateur et générateur de feedback. Gère aussi la récupération de JSON cassé, la coercition de types et les retours sur les violations de schéma.
• Les contraintes du schéma sont exprimées par l’absence plutôt que par l’interdiction → neutralité vis-à-vis du modèle, convergence déterministe
• Plus le modèle est petit, mieux il expose les vulnérabilités du système → utile pour la QA

Ce pattern ne se limite pas au logiciel. Il peut s’appliquer de la même manière à tout domaine d’ingénierie où existe un validateur déterministe. Même si la sortie de l’IA est erronée, si le validateur peut indiquer précisément où et pourquoi elle l’est, la boucle converge. Cela permet d’utiliser de manière pratique des modèles probabilistes dans des domaines exigeant une précision déterministe.