Guide pratique d’OpenAI pour créer des agents [PDF 32 p.]

• Un guide pratique pour les équipes produit et d’ingénierie qui développent pour la première fois des agents basés sur des LLM
• Contrairement aux systèmes d’automatisation classiques, les agents sont des systèmes capables de juger par eux-mêmes et d’agir même dans des situations complexes et ambiguës
• Il présente différents modèles de conception, du système à agent unique jusqu’à l’orchestration multi-agents
• Il met l’accent sur la mise en place de garde-fous (guardrails) et sur des stratégies de supervision humaine (human intervention) pour garantir fiabilité et sécurité
• Il recommande de commencer sur un périmètre restreint, puis d’étendre progressivement l’usage à partir des retours utilisateurs

Qu’est-ce qu’un agent ?

• Un agent est un système qui exécute des tâches pour le compte de l’utilisateur
• Un modèle qui ne répond qu’une seule fois, comme un simple chatbot ou un analyseur de sentiments, n’est pas un agent
• Un agent possède deux fonctions essentielles
  • Gestion de l’exécution du workflow et prise de décision : déterminer si une tâche est terminée, corriger les erreurs et rendre le contrôle à l’utilisateur en cas d’échec
  • Utilisation d’outils (tools) : interagir avec des systèmes externes pour collecter des données ou effectuer des actions

Quand faut-il créer un agent ?

• Pertinent dans les domaines où l’automatisation traditionnelle échoue ou devient difficile à maintenir
• Cas adaptés
  • Prise de décision complexe : lorsqu’un jugement fin est nécessaire, comme pour approuver un remboursement client
  • Systèmes à règles difficiles à maintenir : lorsque les règles sont complexes, comme pour l’automatisation des revues de sécurité
  • Traitement de données non structurées : pour l’analyse de documents ou les cas nécessitant une compréhension du langage naturel

Éléments fondamentaux de la conception d’un agent

• Modèle (Model) : le LLM chargé du raisonnement et des décisions
• Outils (Tools) : les fonctions API qui interagissent avec des systèmes externes
• Instructions (Instructions) : des consignes claires qui définissent le comportement de l’agent

Lignes directrices pour choisir le modèle

• Développer d’abord le prototype avec le modèle le plus performant, puis tenter de le remplacer par un plus petit en tenant compte du coût et de la latence
• Définir des critères d’évaluation (evals), vérifier la précision, puis optimiser

Comment définir les outils

• Concevoir les outils de manière standardisée afin d’améliorer leur réutilisabilité
• Types d’outils
  • Consultation de données : recherche en base de données, lecture de documents, recherche web
  • Exécution d’actions : envoi d’e-mails, mise à jour du CRM
  • Orchestration : appeler d’autres agents pour répartir le travail

Bonnes pratiques pour rédiger les instructions

• S’appuyer sur des documents opérationnels ou des documents de politique existants pour rédiger des consignes claires, étape par étape
• Décomposer le travail et préciser des unités d’action concrètes
• Inclure impérativement la manière de gérer les erreurs et les cas d’exception (edge cases)

Modèles d’orchestration

Système à agent unique

• Un seul agent traite plusieurs tâches via une boucle d’exécution répétée (run loop)
• Utilisation de modèles de prompt pour s’adapter à différentes situations
• Il est recommandé de conserver un agent unique tant que la complexité reste maîtrisable

Système multi-agents

Modèle manager (Manager Pattern)

• Un agent manager central appelle plusieurs agents spécialisés comme des outils (tools) afin de coordonner le workflow
• Cela permet de conserver une interface cohérente avec l’utilisateur

Modèle distribué (Decentralized Pattern)

• Les agents se transmettent le contrôle via des handoffs
• L’agent disposant de l’expertise requise prend le contrôle au moment nécessaire
• Adapté au départ à des tâches simples de triage

Garde-fous (Guardrails)

Objectifs

• Protéger la confidentialité des données et éviter les abus du système
• Préserver la cohérence de la marque et bloquer les réponses inappropriées

Principaux types

• Filtrage de pertinence : bloquer les entrées sans rapport avec le sujet
• Filtrage de sécurité : détecter les tentatives de contournement (jailbreak)
• Filtre de données personnelles (PII) : empêcher l’exposition d’informations sensibles
• Modération (Moderation) : bloquer la violence et les discours haineux
• Gestion des risques liés aux outils : ajouter une vérification supplémentaire lors d’appels à des outils à haut risque

Stratégie de mise en place

• Donner la priorité absolue à la confidentialité des données et à la sécurité des contenus
• En ajouter continuellement en fonction des nouveaux risques identifiés en usage réel
• Trouver un équilibre entre sécurité et expérience utilisateur

Supervision humaine (Human-in-the-loop)

• Redonner le contrôle à un humain lorsque l’agent échoue ou traite une tâche à haut risque
• Déclencheurs représentatifs
  • Dépassement d’un seuil d’échec
  • Demande d’une tâche sensible (remboursement, paiement, etc.)

Conclusion

• Les agents sont des systèmes innovants capables d’automatiser des workflows dans des situations complexes et incertaines
• Ils doivent s’appuyer sur un cadre solide modèle-outils-instructions et étendre progressivement l’orchestration
• Il est indispensable de mettre en place des garde-fous et un dispositif de supervision humaine pour garantir sécurité et fiabilité
• Commencer petit, valider rapidement, puis étendre progressivement les fonctionnalités est la clé d’un déploiement réussi

[bluekai17]

https://notebooklm.google.com/notebook/…

Je l’ai créé avec NotebookLM.