GN⁺ : GPT-Prompt-Engineer - Ingénieur de prompts GPT

• L’ingénierie des prompts ressemble à l’alchimie : il n’existe pas de méthode claire pour prédire ce qui sera le plus efficace
• La seule solution pour trouver le prompt le plus approprié est de continuer à expérimenter
• gpt-prompt-engineer est un outil qui rend ces expérimentations beaucoup plus faciles
• Si vous décrivez la tâche et fournissez quelques cas de test simples, le système génère, teste et évalue plusieurs prompts pour trouver le meilleur
• Fonctionnalités proposées
  • Génération de prompts : création de différents prompts à l’aide de GPT-4 et GPT-3.5-Turbo
  • Test de prompts : chaque prompt est testé à partir de cas de test, les performances sont mesurées, puis classées avec un système de notation ELO
  • Système de notation ELO : chaque prompt commence avec un score ELO de 1200, puis évolue en compétition avec les autres selon ses performances. Cela permet d’identifier le meilleur prompt
  • Version Classification : notebook conçu pour les tâches de classification. Il évalue la précision de chaque cas de test et affiche les scores de chaque prompt dans un tableau
  • Logging Weights & Biases : prise en charge de la journalisation de valeurs comme la température, le nombre maximal de tokens, les prompts système/utilisateur, les cas de test et le score ELO final

Ce que GN⁺ a résumé

• L’ingénierie des prompts est comparable à une forme d’alchimie où l’expérimentation est essentielle.
• gpt-prompt-engineer est un outil qui fait passer l’ingénierie des prompts à un niveau supérieur.
• Il génère des prompts à partir de cas d’usage et de cas de test en utilisant GPT-4 et GPT-3.5-Turbo.
• Le système teste et classe les prompts à l’aide d’un système de notation ELO.
• Le système de notation ELO permet d’identifier facilement les prompts les plus efficaces.
• gpt-prompt-engineer inclut aussi une version dédiée aux tâches de classification.
• Elle évalue la précision des cas de test et fournit un score pour chaque prompt.
• Une journalisation optionnelle vers Weights & Biases permet de suivre la configuration et le classement.
• Pour utiliser gpt-prompt-engineer, il faut ouvrir le notebook dans Google Colab ou dans un notebook Jupyter local.
• Ajoutez une clé d’API OpenAI et choisissez la version de modèle appropriée.
• Définissez les cas d’usage et les cas de test.
• Choisissez le nombre de prompts à générer.
• Appelez les fonctions appropriées pour générer et tester les prompts.
• Le score ELO final ou les scores s’affichent dans un tableau.
• Les contributions au projet sont les bienvenues.
• Ce projet est publié sous licence MIT.
• Pour plus d’informations, contactez Matt Shumer.

[GN⁺]

Avis Hacker News

• Le classement est établi non pas à partir d’un benchmark basé sur de vraies réponses du modèle, mais selon la capacité de GPT-4 à imaginer la performance des prompts.
• La popularité de cet outil parmi les développeurs IA vient peut-être de l’attrait des LLM qui évaluent des LLM, mais il n’existe pas de raccourci pour mesurer les performances dans des applications réelles.
• Le prompt engineering n’est pas considéré comme une science exacte comparable aux disciplines d’ingénierie traditionnelles.
• Des inquiétudes existent concernant le coût et la difficulté d’utiliser GPT-4 et cet outil, ainsi que sur l’intérêt de modifier un prompt une fois le prompt optimal trouvé.
• Générer des prompts pour le prompt engineering peut être vu comme une forme de méta‑ingénierie.
• Des inquiétudes existent au sujet de la collecte de données utilisateur par GPT-Engineer et de ses motivations.
• Certains proposent d’utiliser GPT pour générer des prompts afin de réduire encore davantage l’intervention humaine.
• L’article n’explique pas le classement des prompts.