OpenAI Codex Record & Replay : transformer une tâche montrée une fois en Skill réutilisable

• Record & Replay est une fonctionnalité qui permet à Codex d’observer un workflow exécuté directement par l’utilisateur sur Mac, puis d’en faire un Skill réutilisable
• Elle convient aux tâches répétitives, aux cas où les préférences et règles de l’utilisateur sont importantes, ou aux tâches plus faciles à montrer directement qu’à décrire via un prompt
• Par exemple, on peut enregistrer des tâches comme le traitement de notes de frais, la réservation d’une place de parking, la création d’issues, la publication de vidéos ou le téléchargement récurrent de rapports pour en faire des Skills
• Le Skill généré peut ensuite être rappelé dans un nouveau thread, en ne fournissant que les valeurs qui changent à chaque fois, comme les fichiers, les plages de dates ou le contenu d’une issue
• La fonctionnalité est actuellement disponible sur macOS, nécessite que Computer Use soit activé, et les premières régions prises en charge excluent l’EEE, le Royaume-Uni et la Suisse

---

Objectif de Record & Replay

• Si l’utilisateur montre une fois à Codex une procédure qu’il connaît déjà, Codex apprend ce schéma et l’organise en Skill
• Ce Skill inclut quand l’utiliser, quelles entrées sont nécessaires, quelles étapes suivre et comment vérifier le résultat
• Plus qu’un simple script d’automatisation, il s’agit d’un moyen pour Codex de conserver comme contexte réutilisable la manière réelle de travailler de l’utilisateur et ses préférences implicites

Tâches adaptées

• Convient aux tâches dont les étapes sont stables et les critères de réussite clairement définis
• Très adapté aux tâches répétées de façon similaire, où seules certaines valeurs d’entrée changent
• Les tâches basées sur une interface utilisateur, difficiles à expliquer longuement en langage naturel, peuvent aussi être montrées directement
• Exemples :
  • soumission de notes de frais
  • réservation d’une place de parking
  • création d’une issue dans un format prédéfini
  • publication de vidéos
  • téléchargement périodique de rapports

Comment démarrer l’enregistrement

• Ouvrir Plugins dans l’application Codex et sélectionner le menu +
• Choisir Record a skill
• Relire le prompt proposé par Codex, ajouter le contexte nécessaire, puis l’envoyer
• Lorsque Codex demande l’autorisation d’enregistrer la tâche, l’approuver
• Exécuter le workflow réel sur le Mac
• Une fois la tâche terminée, arrêter l’enregistrement via la barre de menus, l’overlay, ou en indiquant à Codex que c’est terminé

Ce qui se passe pendant l’enregistrement

• Pendant l’enregistrement, Codex observe les actions de l’utilisateur et le contenu des fenêtres nécessaires pour apprendre le workflow
• L’enregistrement continue jusqu’à ce que l’utilisateur l’arrête lui-même
• Il vaut donc mieux limiter l’enregistrement à la tâche que Codex doit apprendre
• Si l’on enchaîne avec du rangement sans rapport ou des actions de suivi, le Skill peut devenir inutilement complexe

Création et modification du Skill

• Une fois l’enregistrement arrêté, Codex analyse le workflow capturé et crée un brouillon de Skill
• Le Skill résume les conditions d’utilisation, les entrées nécessaires, les étapes d’exécution et la manière de vérifier le résultat
• On peut ensuite demander à Codex d’affiner davantage le Skill
• En particulier, il est préférable d’ajouter explicitement après l’enregistrement les préférences implicites comme les conventions de nommage de fichiers, les valeurs par défaut ou les critères de sélection

Relancer le workflow

• Dans un nouveau thread, demander à Codex d’utiliser le Skill généré
• Il suffit de fournir les valeurs qui changent pour cette exécution
  • fichier à téléverser
  • contenu de l’issue à créer
  • plage de dates du rapport
  • cible de publication
• Codex exploite alors ce Skill comme contexte réutilisable pour exécuter la tâche avec les outils disponibles dans l’environnement actuel
• Il peut combiner Computer Use, des actions navigateur, des plugins installés, etc.

Conseils pour de meilleurs enregistrements

• Mieux vaut garder la démonstration courte et complète
• Avant l’enregistrement, il est préférable d’indiquer à Codex l’objectif et les entrées susceptibles de changer à chaque fois
• Utiliser des valeurs d’entrée proches du réel, tout en évitant les informations secrètes ou les données sensibles
• Après l’enregistrement, il est utile d’affiner le Skill en ajoutant les préférences implicites comme les règles de nommage, les valeurs par défaut ou les critères de décision
• Une fois le workflow terminé, mieux vaut arrêter immédiatement l’enregistrement et ne pas inclure des tâches de rangement sans rapport

Cas où il vaut mieux créer un Plugin séparé

• Record & Replay est un moyen de créer rapidement un Skill
• S’il s’agit d’un package devant être déployé de manière fiable à toute une équipe, il est plus approprié d’en faire un Plugin séparé
• S’il faut regrouper plusieurs Skills, inclure des intégrations applicatives, ajouter un serveur MCP ou gérer des métadonnées d’installation, il est préférable de le packager comme Plugin

Résolution de problèmes

• Si Record & Replay n’apparaît pas, il faut vérifier la configuration requirements.toml de l’organisation
• Si [features].computer_use est défini avec computer_use = false, alors Computer Use et Record & Replay sont tous deux désactivés

---

Contenu résumé avec ChatGPT dans un style GN+.
Je l’ai rapidement testé moi-même, et ça a mieux transformé la démo en skill que je ne l’imaginais.