Launch HN : HumanLayer (YC F24) – API de participation humaine pour les systèmes d’IA

• Une API qui permet aux agents d’IA en production d’obtenir une approbation ou une saisie humaine avant d’exécuter des actions risquées, afin de réduire la charge liée à une exécution entièrement autonome
• L’élément clé consiste à envoyer des demandes d’approbation via Slack ou e-mail, à gérer l’état d’attente des réponses et la piste d’audit, afin d’intégrer l’humain dans le flux d’exécution de l’agent
• Le produit est né du constat que les clients rechignaient à laisser des agents d’automatisation destinés aux équipes data accéder directement aux systèmes de production
• Le SDK fonctionne au niveau de la couche d’appel d’outils, ce qui permet son usage avec des frameworks comme CrewAI, LangChain, ainsi qu’avec des modèles de langage prenant en charge l’appel d’outils
• Plus un agent exécute de vraies tâches, comme un AI SDR, une newsletter IA ou un agent DevOps, plus il est important de définir clairement les points d’approbation et les voies d’escalade pour demander de l’aide

---

Des flux d’approbation humaine nécessaires aux agents de production

• HumanLayer est une API qui permet aux agents d’IA de demander à un humain du feedback, une saisie ou une approbation pendant leur exécution
• L’objectif est de permettre l’ajout d’un human in the loop à chaque étape risquée lors du déploiement en production de systèmes d’IA autonomes ou headless
• Le point de départ vient de l’expérience de création d’agents d’IA pour des équipes data
  • L’idée était d’automatiser des tâches fastidieuses comme la suppression de tables inutilisées
  • Les clients s’opposaient à ce que des agents d’IA accèdent directement aux systèmes de production
• Pour atteindre une fiabilité de niveau production, il fallait recourir à l’évaluation, au fine-tuning et au prompt engineering selon le niveau de risque des tâches, mais dépasser 99,9 % de fiabilité pouvait demander plus de 3 mois
• L’équipe a finalement créé des flux d’approbation du type « demander dans Slack avant de supprimer une table », puis il est aussi devenu nécessaire d’ajouter des garde-fous pour éviter que les demandes d’approbation n’arrivent à la mauvaise personne

Fonctionnalités et mode d’intégration

• En intégrant le SDK HumanLayer, un agent d’IA peut demander une approbation humaine à n’importe quel moment de son exécution
  • La demande est routée vers la bonne personne via Slack ou e-mail
  • La prise en charge de SMS et Teams est prévue prochainement
  • L’état est géré pendant l’attente de la réponse
  • Une piste d’audit complète est fournie
• Au-delà des « demandes d’approbation », le produit prend aussi en charge une fonction plus générale de human as tool
  • Elle peut être exposée au LLM ou au framework d’agent comme un outil servant à collecter des réponses humaines
  • Un exemple serait une question générale du type : « Je suis bloqué sur ce problème, j’ai essayé ceci, cela et cela ; pouvez-vous me conseiller ? »
• Comme le SDK fonctionne au niveau de la couche d’appel d’outils, il peut être utilisé avec des frameworks comme CrewAI et LangChain, ainsi qu’avec des modèles de langage prenant en charge l’appel d’outils
  • Si vous créez votre propre boucle agent-outil, vous pouvez aussi gérer directement les flux d’approbation à l’aide des primitives SDK de plus bas niveau
  • L’équipe explore aussi des usages d’approbation humain-humain, en plus des approbations IA-humain

Cas d’usage et offre

• Plusieurs agents de production utilisent les flux d’approbation de HumanLayer
  • Un client a créé un AI SDR qui rédige des e-mails commerciaux personnalisés, puis obtient une approbation humaine dans Slack avant l’envoi
  • Un autre client l’utilise pour une newsletter IA où les abonnés peuvent interagir avec le contenu et avec les e-mails
  • Une équipe l’a appliqué à un agent DevOps destiné aux clients pour gérer la revue de PR, la planification et l’exécution de migrations DB, l’approbation humaine aux étapes clés, ainsi que les demandes d’aide à l’équipe en cas de problème
• L’offre comprend des SDK Python et TypeScript, un essai gratuit, un palier gratuit et une tarification à l’usage
  • Pour les équipes qui créent des agents destinés aux clients, des options de marque blanche, des fonctionnalités supplémentaires et un support prioritaire sont proposés
  • La documentation est disponible sur humanlayer.dev/docs

[GN⁺]

Commentaires sur Hacker News

• Certains estiment que les fondateurs de startup veulent utiliser l’IA pour créer eux-mêmes des services internes. Ils pensent qu’il vaudrait mieux utiliser un SaaS, mais que les prix sont élevés sans que ce soit particulièrement complexe. Avec l’arrivée de la concurrence, les prix devraient baisser.

• Des inquiétudes sont exprimées au sujet du coût élevé des services d’IA, avec l’idée qu’il faudrait proposer des crédits gratuits ou ajuster les tarifs.

• Des préoccupations existent autour du biais d’automatisation et de la complaisance face à l’automatisation : des humains pourraient valider sans esprit critique les décisions de l’IA.

• L’idée d’utiliser des mandataires humains pour prendre en charge ce que les agents IA ne peuvent pas faire est proposée.

• Les limites des frameworks pour gérer des appels d’outils asynchrones ou de longue durée sont soulignées. Des pistes existent pour y remédier, mais elles seront abordées dans un autre article.

• Certains estiment qu’il faut faire des efforts pour rester au niveau de l’API.

• Selon un avis, au début de l’IA, les humains exécutaient la logique, puis leur retrait a dégradé la qualité. Faire réintervenir des humains via une entreprise tierce serait, selon cette analogie, une solution temporaire.

• Dans les startup, l’intervention humaine est jugée importante, et il est estimé que contrôle et supervision sont nécessaires pour transformer le potentiel des LLM en valeur réelle. Pour cela, des workflows sur mesure et des processus manuels ont été mis en place.

• Certains remarquent que de nombreux systèmes permettent déjà d’offrir des fonctions d’entrée/sortie basiques. Cela vaudrait la peine d’essayer avant de le développer soi-même.

• Une entreprise de dispositifs médicaux envisage d’utiliser l’IA comme agent de workflow et prévoit de recourir aux LLM pour soutenir le processus d’assurance qualité ISO13485. Elle souhaite connaître l’avis des autres utilisateurs de HN.