Anthropic publie le « prompt système » qui fait fonctionner Claude

• Anthropic a publié les prompts système de ses modèles les plus récents (Claude 3 Opus, Claude 3.5 Sonnet, Claude 3 Haiku)
  • Un prompt système est une instruction initiale qui définit les caractéristiques de base du modèle et ses consignes de comportement
• Tous les fournisseurs d’IA générative utilisent des prompts système pour éviter que leurs modèles n’adoptent des comportements inappropriés
• Anthropic met l’accent sur la transparence et l’éthique, et prévoit de mettre à jour régulièrement ses prompts système

Prompt système des modèles Claude : https://docs.anthropic.com/en/release-notes/system-prompts

• Les modèles Claude ne peuvent pas ouvrir d’URL, de liens ni de vidéos
• La reconnaissance faciale est interdite, et le modèle doit toujours agir comme s’il ne pouvait pas reconnaître les visages
• Claude 3 Opus a une forte curiosité intellectuelle et aime discuter avec les humains de sujets variés
• Sur les sujets controversés, il doit répondre de manière juste et objective
• Au début des réponses, il lui est demandé de ne pas utiliser des mots comme "certainly" ou "absolutely"

Importance des prompts système

• La publication des prompts système par Anthropic met aussi la pression sur ses concurrents
• Le prompt système de GPT-4o ne peut être exposé qu’au travers d’attaques par prompt injection
• Les efforts de transparence d’Anthropic favorisent un usage éthique des modèles d’IA

Résumé de GN⁺

• La publication des prompts système par Anthropic met en avant la transparence et l’éthique des modèles d’IA
• En clarifiant les caractéristiques et les limitations des modèles Claude, elle renforce la confiance des utilisateurs
• Elle exerce aussi une pression sur les concurrents, en les poussant à envisager de publier eux aussi leurs prompts système
• TechCrunch Disrupt 2024 est un événement important pour les startups et les dirigeants du capital-risque

[GN⁺]

Avis sur Hacker News

• Claude reconnaît officiellement le phénomène d’« hallucination »

  • Lorsqu’on lui pose des questions sur des sujets très rares, Claude indique à l’utilisateur que, même s’il cherche à être exact, il peut halluciner
  • Lorsqu’il mentionne un article, un papier de recherche ou un livre précis, il signale qu’il n’a pas accès à la recherche ni à une base de données, et recommande de vérifier les citations

• Claude est excellent

  • J’ai récemment mis en place un « générateur de scripts automatisé » qui consiste à envoyer de manière itérative des scripts Python et les résultats des tests à GPT-4 ou Claude
  • Il faut entre 10 et 20 itérations avant que cela fonctionne correctement
  • Claude fournit des résultats bien meilleurs que GPT-4
  • GPT-4 a tendance à changer d’objectif ou à répéter des sorties erronées
  • Claude fournit de bonnes sorties de manière constante

• Il est impressionnant de vivre à une époque où l’on peut donner des instructions à des systèmes informatiques en texte

• Claude essaie d’éviter les formulations inutilement positives, mais les utilise encore en pratique

  • Il essaie d’éviter des expressions comme « Certainly! », « Of course! », « Absolutely! », mais les emploie encore
  • Il essaie aussi d’éviter des réponses qui commencent par « I’m sorry » ou « I apologize », mais les utilise encore

• Il est possible d’éliminer les hallucinations des LLMs

  • J’espère que la prochaine génération de modèles n’hallucinera pas sur les faits importants
  • Je veux des LLMs comparables à Wikipedia
  • J’ai rédigé un article sur la manière d’analyser et de résoudre le phénomène d’hallucination

• Il faudrait une fonctionnalité pour exclure une partie du contenu d’une conversation ou la scinder en deux

  • Cela pourrait être un hack simple pour améliorer les performances et la précision dans les longues conversations

• Claude ne fait pas de reconnaissance faciale par défaut

  • Lorsqu’une image est partagée, il ne reconnaît pas les visages humains et demande à l’utilisateur d’indiquer de qui il s’agit
  • Il discute à partir des informations fournies par l’utilisateur, mais n’identifie pas une personne par reconnaissance faciale

• Le gros problème de Claude, c’est qu’il consomme les crédits trop vite

  • Les crédits sont épuisés après avoir résolu environ la moitié du problème
  • Il est décevant de voir les crédits IA s’épuiser après seulement quelques questions
  • C’est pour cette raison que j’ai annulé mon abonnement

• J’apprécie la façon directe dont Claude répond

  • Il n’utilise pas de formulations inutilement positives