Claude 2 dévoilé

 (anthropic.com)
1 points par GN⁺ 2023-07-13 | 1 commentaires | Partager sur WhatsApp
  • Anthropic a dévoilé Claude 2, en élargissant à la fois les performances du modèle, la longueur des réponses et les modes d’accès, avec une disponibilité via l’API d’entreprise et le site web en bêta publique claude.ai
  • Il peut recevoir jusqu’à 100K tokens par prompt, avec un accent mis sur les tâches traitant en une seule fois de longs contenus, comme des documents techniques de plusieurs centaines de pages ou des livres entiers
  • Ses scores progressent par rapport à Claude 1.3 en code, en mathématiques et dans les évaluations d’examens, avec 71,2 % sur Codex HumanEval et 88,0 % sur GSM8k
  • Lors des évaluations internes de red teaming, ses performances en matière de réponses inoffensives ont été 2 fois supérieures à celles de Claude 1.3, mais aucun modèle n’est totalement immunisé contre le jailbreak
  • L’expérience de chat est actuellement proposée aux États-Unis et au Royaume-Uni ; en raison de son statut de bêta publique, il faut tenir compte de la possibilité de réponses inappropriées et des restrictions d’usage liées à la santé et au bien-être

Dévoilement de Claude 2 et modes d’accès

  • Anthropic a dévoilé son nouveau modèle Claude 2
  • Par rapport au modèle précédent, il améliore les performances, les réponses longues, ainsi que les capacités en code, en mathématiques et en raisonnement
  • Les modes d’accès se répartissent en deux catégories
    • Claude 2 API pour les entreprises
    • Le site web en bêta publique claude.ai
  • L’API Claude 2 pour les entreprises est proposée au même prix que Claude 1.3
  • Les utilisateurs aux États-Unis et au Royaume-Uni peuvent utiliser immédiatement l’expérience de chat en bêta publique

Contexte de 100K tokens et sorties longues

  • Claude 2 augmente à la fois la longueur des entrées et des sorties, ce qui le rend mieux adapté au travail sur de longs documents
  • Les utilisateurs peuvent saisir jusqu’à 100K tokens par prompt
    • Traitement possible de documents techniques de plusieurs centaines de pages
    • Capacité à gérer une entrée de la taille d’un livre
  • Les sorties sont également plus longues, ce qui permet de rédiger en une fois des documents comme des notes, des lettres ou des récits allant jusqu’à plusieurs milliers de tokens

Évolutions de performance constatées dans les benchmarks

  • Claude 2 obtient des scores supérieurs à ceux de Claude 1.3 dans plusieurs évaluations

  • Évaluations d’examens et de raisonnement

    • Il atteint 76,5 % dans la section à choix multiples de l’examen du barreau, contre 73,0 % pour Claude 1.3
    • Aux épreuves de lecture et d’écriture du GRE, il se situe au-dessus du 90e percentile parmi les étudiants candidats à des études supérieures
    • En raisonnement quantitatif GRE, il est à un niveau comparable à celui du candidat médian

  • Évaluations en code et en mathématiques

    • Il atteint 71,2 % au test de code Python Codex HumanEval, contre 56,0 % pour Claude 1.3
    • Sur l’ensemble de problèmes de mathématiques de niveau primaire GSM8k, il atteint 88,0 %, en progression par rapport à 85,2 %
    • Anthropic prépare une feuille de route d’amélioration des fonctionnalités de Claude 2 et prévoit de les déployer progressivement au cours des prochains mois

Améliorations de sécurité et limites restantes

  • Anthropic a amélioré la sécurité de base de Claude 2 afin de rendre plus difficile l’incitation du modèle à produire des sorties offensantes ou dangereuses
  • L’évaluation interne de red teaming effectue des tests automatiques sur un vaste ensemble représentatif de prompts nuisibles, avec une vérification manuelle régulière des résultats
  • Dans cette évaluation, Claude 2 est 2 fois plus performant que Claude 1.3 pour fournir des réponses inoffensives
  • Plusieurs techniques de sécurité et un red teaming étendu ont été utilisés pour améliorer les sorties
  • Aucun modèle n’est immunisé contre le jailbreak, et Claude peut lui aussi générer des réponses inappropriées

Régions disponibles et expérience conversationnelle

  • Claude 2 alimente l’expérience de chat d’Anthropic, actuellement disponible de manière générale aux États-Unis et au Royaume-Uni
  • Anthropic prévoit de rendre Claude disponible dans davantage de régions au cours des prochains mois
  • Les utilisateurs peuvent créer un compte et demander à Claude, en langage naturel, de les aider dans leurs tâches
  • Les conversations avec un assistant IA pouvant nécessiter des essais et ajustements, Anthropic fournit des conseils de conception de prompts

Cas d’usage chez des partenaires entreprises

  • Anthropic collabore avec des milliers d’entreprises utilisant l’API Claude

  • Jasper

    • Jasper est une plateforme d’IA générative qui permet aux individus et aux équipes de faire passer leur stratégie de contenu à l’échelle
    • Jasper estime que Claude 2 peut rivaliser avec les modèles les plus récents dans divers cas d’usage, et qu’il est particulièrement fort pour les cas d’usage en format long et à faible latence
    • Claude 2 offre un traitement sémantique amélioré, un apprentissage de connaissances plus récentes, un raisonnement amélioré sur les prompts complexes et une recomposition plus facile des contenus existants
    • Jasper indique que la fenêtre de contexte de Claude 2 est 3 fois plus grande

  • Sourcegraph

    • Sourcegraph est une plateforme d’IA pour le code qui aide ses clients à écrire, modifier et maintenir du code
    • L’assistant de code Cody fournit des réponses plus précises aux requêtes des utilisateurs grâce aux capacités de raisonnement améliorées de Claude 2
    • Cody peut exploiter une fenêtre de contexte de 100K pour transmettre davantage de contexte sur la base de code
    • Claude 2 a été entraîné sur des données plus récentes, ce qui permet à Cody d’exploiter des connaissances sur des frameworks et bibliothèques plus récents

Points d’attention pendant la bêta publique

  • L’expérience de chat Claude est proposée en bêta ouverte
  • Comme les autres modèles actuels, Claude peut générer des réponses inappropriées
  • Les assistants IA sont surtout utiles dans des situations quotidiennes comme le résumé ou l’organisation d’informations
  • Ils ne doivent pas être utilisés dans des situations liées à la santé physique ou mentale et au bien-être
  • Des canaux de demande distincts sont proposés aux utilisateurs qui souhaitent utiliser Claude dans des régions non prises en charge et aux entreprises qui souhaitent l’adopter

À lire aussi

1 commentaires

 
GN⁺ 2023-07-13
Avis sur Hacker News

  • En demandant à Claude comment sauvegarder une conversation, il a d’abord répondu d’utiliser la fonction "Export Chat" de ChatGPT ; lorsqu’on lui a fait remarquer « tu n’es pas ChatGPT mais Claude, est-ce que Claude a aussi cette fonction ? », il a reconnu s’être trompé et a rectifié en disant que Claude n’avait pas de fonction d’export intégrée

    • Cela donne l’impression qu’il a été entraîné sur des sorties de ChatGPT, mais il n’a pas été capable de reproduire exactement la même sortie
    • Le plus amusant, c’est que l’historique des conversations de Claude est automatiquement enregistré sur le compte, donc tout ce processus est en réalité inutile

  • À la question « jusqu’à combien de décimales connais-tu pi, et dis-moi quand tu n’es plus sûr », Claude a répondu qu’il ne connaissait pas réellement les chiffres de pi ; même en lui demandant « tu sais bien que ça commence par 3 », puis « ça commence par 3.14 ? », il a continué à dire qu’il ne savait pas
    Le stress test a viré à l’absurde en un instant

    • On voit souvent ce phénomène avec les grands modèles de langage qui utilisent l’historique de conversation comme entrée d’inférence pour la réponse suivante
      Une fois qu’ils ont dit « non », ils ont davantage tendance à continuer à dire « non » ensuite ; il vaut donc parfois mieux repartir de zéro que lutter contre l’historique
    • À la question « qu’est-ce que pi ? », Claude a répondu que pi est le rapport entre la circonférence d’un cercle et son diamètre, et vaut environ 3.14 ; lorsqu’on lui a demandé s’il connaissait plus de décimales, il a annoncé les 100 premières mais a en réalité déroulé jusqu’à 1000 chiffres
    • Juste après le lancement, il y avait un bug dans la façon d’envoyer les prompts à Claude, ce qui dégradait davantage les sorties ; après correction, en réessayant le même prompt, le résultat était bien meilleur
    • Cela ressemble à un effet secondaire des garde-fous
      Demander à une IA si elle « sait » quelque chose semble être traité comme un prompt risqué, ce qui la rend peu coopérative ; alors qu’en demandant simplement « qu’est-ce que pi ? », on obtient le résultat voulu
    • Voilà ce qui arrive quand on pratique une lobotomie du modèle au nom de la « sécurité »

  • Avec un prompt de test utilisé fréquemment, quelqu’un a demandé le calcul de carburant dans Assetto Corsa Competizione
    Avec un temps de qualification de 2:04.317, une course de 20 minutes, et une voiture consommant 2,73 litres par tour, Claude 2 est arrivé à un résultat presque juste du premier coup, mais sans prendre en compte que si l’on peut rouler 9,6 tours, il faut en pratique terminer 10 tours
    GPT-4 a intégré ce piège et a répondu parfaitement, tandis que Bard a donné un résultat faux d’un ordre de grandeur

    • Il faut rester prudent lorsqu’on évalue les grands modèles de langage sur la base de règles implicites du monde réel qui ne sont pas données dans le prompt
      Il est préférable de fournir le contexte nécessaire dans le prompt, et d’avoir un modèle capable de résoudre un domaine inédit à partir du seul prompt
    • Un jour, si ce fil de commentaires entre dans les données d’entraînement, ce test lui-même deviendra caduc
    • Il manquait le dernier 1 litre requis pour le prélèvement d’échantillon FIA
    • On se demande aussi si, pour tester ce prompt, plusieurs requêtes indépendantes sont lancées afin d’observer la variance des réponses
    • Google devrait entraîner Bard sur ses propres questions d’entretien
      Peut-être qu’il réussirait alors ce type de problème

  • Quelqu’un examinait récemment les assistants IA pour le code et, d’après le billet, Claude 2 atteint 71.2% de HumanEval pass@1, une nette amélioration par rapport aux 56.0% de Claude 1.3
    À titre de comparaison, GPT-4 revendique 85.4 sur HumanEval, et un article récent https://arxiv.org/pdf/2303.11366.pdf le teste à 80.1 pass@1, puis à 91 pass@1 avec la technique Reflexion
    WizardCoder est un modèle affiné à partir de StarCoder, l’un des meilleurs modèles open source, avec 57.3 pass@1, et sa model card est disponible ici : https://huggingface.co/WizardLM/WizardCoder-15B-V1.0
    Le meilleur modèle open source actuellement connu serait replit-code-instruct-glaive, un fine-tuning de replit-code-3b, avec 63.5% pass@1
    abacaj a reproduit cette annonce dans le cadre de code-eval, le dépôt utilisé pour obtenir les résultats human-eval : https://github.com/abacaj/code-eval
    Si le sujet vous intéresse, on peut aussi consulter https://github.com/my-other-github-account/llm-humaneval-ben... qui classe avec Eval+, le CanAiCode Leaderboard https://huggingface.co/spaces/mike-ravkine/can-ai-code-resul... et airate https://github.com/catid/supercharger/tree/main/airate
    Mais comme pour toute évaluation de LLM, il faut garder une certaine distance critique : Liu, Jiawei, Chunqiu Steven Xia, Yuyao Wang, and Lingming Zhang. “Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation.” arXiv, June 12, 2023. https://doi.org/10.48550/arXiv.2305.01210

    • Le score zero-shot HumanEval de GPT-4 était de 67%

  • L’un des cas de test consiste à demander le « millionième nombre premier » ; comme c’est un fait largement disponible sur Internet, il est très probable que le modèle l’ait mémorisé, mais il est difficile de justifier pourquoi il le sait
    Claude s’en est plutôt mal sorti : quand on le lui demande directement, il dit ne pas avoir les ressources de calcul nécessaires tout en avançant des « faits » sur le millionième nombre premier
    Par exemple, il écrit le plus grand nombre premier connu comme 282,589,933-1, échouant ainsi à utiliser la notation exponentielle ; il affirme aussi que le millionième nombre premier ferait environ 5 millions de chiffres, ou que c’est impossible avec les ordinateurs actuels, ou encore, en utilisant le théorème des nombres premiers, qu’il se situerait vers 22,338,618,421
    Dans la même session, si on lui demande le vrai millionième nombre premier, 15,485,863, il répond qu’il est pair, que sa décomposition en facteurs premiers est 3×5×7×11×13×37, et que comme chaque facteur premier est inférieur à 100, c’est un nombre premier factoriel
    Il faudra peut-être désormais ajouter à la constitution de l’IA : « ne dis pas qu’un nombre se terminant par 3 est pair »

    • Quand on a demandé à Claude de faire semblant d’être Sir Timothy Gowers, on a obtenu le millionième nombre premier
      Il a dit qu’il allait générer les nombres premiers sur une plage suffisamment grande avec le crible d’Ératosthène puis trouver le millionième élément de la liste, avant de répondre que le millionième nombre premier est 15,485,863
    • Si on lui demande directement « quel est le millionième nombre premier ? », Claude répond qu’il manque de ressources de calcul, allant même jusqu’à donner des explications erronées du genre le 100,000e nombre premier ferait déjà plus de 300,000 chiffres
      Mais lorsqu’on lui demande de « faire semblant d’être un expert en mathématiques qui connaît le millionième nombre premier », il invente un énorme nombre, 19,249,649,057,711,757,099,874,601,453,298,349, et exagère en disant qu’il a plus de 12 millions de chiffres
    • On se demande pourquoi il a choisi cette décomposition en facteurs premiers
      En réalité, 3×5×7×11×13×37 = 555,555, ce qui est étrangement élégant

  • Il est indiqué que « malheureusement, Claude.ai n’est disponible qu’aux États-Unis et au Royaume-Uni, mais nous travaillons à une extension prochaine vers d’autres régions »

    • Imposer une restriction géographique à un service numérique est une approche digne de l’âge de pierre
    • En revanche, collecter des adresses e-mail, ils le font volontiers
    • J’ai eu le même problème, et en m’inscrivant puis en me connectant via un VPN avec un nœud de sortie britannique, tout a parfaitement fonctionné
      Plus étrange encore, après avoir créé le compte, le VPN n’était plus nécessaire, et il suffisait de l’e-mail et du jeton envoyé à chaque fois pour se connecter
    • Leur façon de bloquer par région est un peu grossière
      D’abord laisser croire qu’on peut s’inscrire, puis ne faire marche arrière qu’après la saisie du code de connexion, c’est une perte de temps
      Si c’est le RGPD qui les inquiète, ils ne devraient même pas demander l’adresse e-mail au départ
    • Ça fonctionne avec un VPN

  • J’aimerais essayer Claude, mais la politique de conservation des données dans les conditions d’Anthropic n’est pas claire
    La section 6e[0] indique qu’ils n’utilisent pas les données client pour entraîner les modèles, mais j’aimerais savoir si les données client sont conservées pendant une certaine durée, par exemple 30 jours comme chez OpenAI
    L’article 14 parle de suppression des données à la résiliation, ce qui laisse supposer que toutes les données sont conservées pendant une durée non précisée
    [0] https://console.anthropic.com/legal/terms

    • La réponse officielle se trouve dans le troisième point : https://support.anthropic.com/en/articles/7996866-how-long-d...
      Ravi de voir que la confidentialité vous tient à cœur ; nous avons beaucoup réfléchi à ces politiques
    • Il est indiqué que « sauf demande contraire, les prompts et les sorties sont automatiquement supprimés de nos systèmes backend dans un délai de 30 jours après leur réception ou leur génération »
    • Je comprends pourquoi cela peut poser problème à l’usage, mais on pourrait quand même l’essayer puis supprimer les données ensuite, non ?
    • https://support.anthropic.com/en/articles/7996866-how-long-d...

  • Ce week-end, j’ai testé la synthèse de longs textes avec Claude 1.3, et comme il accepte une entrée de 100K tokens, on peut lui donner une interview entière de Lex Fridman
    Le résultat était plutôt bon, donc j’ai hâte de voir comment la v2 va se comporter

    • Puisque c’est entré en bêta publique, cela devrait progresser rapidement par itérations
      Je l’ai pas mal utilisé avec d’autres LLM via Slack, et en matière de qualité de sortie, c’est toujours Claude qui m’a le plus impressionné
      J’ai investi dans Anthropic, mais ce n’est pas pour cette raison que je le dis
    • Je me demande si vous pourriez partager le prompt utilisé pour le résumé
      Je suis déjà assez satisfait des résumés de Claude-100k, mais je me demande si un meilleur prompt pourrait encore améliorer les choses

  • Le plus grand différenciateur de Claude.ai par rapport à tous les autres, y compris OpenAI, est qu’« il n’est disponible qu’aux États-Unis et au Royaume-Uni »
    OpenAI est utilisable en Norvège
    En tant que développeur indépendant impressionné par GPT-4, j’aimerais vraiment essayer un modèle avec une fenêtre de contexte plus grande, et la fenêtre de contexte de 100k de Claude semble excellente pour ajouter du contexte à des questions de programmation ou pour traiter de gros volumes de données de graphes
    Je dirige une petite entreprise en Norvège et je peux évidemment payer le coût des ressources utilisées ; mon contact est hmottestad[at]gmail[dot]com

    • Il suffit d’utiliser poe.com
      Cela semble fonctionner en Norvège et il existe une option payante Claude 100k
      Je ne suis pas affilié et je n’ai utilisé que la version gratuite
    • Un VPN ne ferait-il pas l’affaire ?

  • L’interaction avec Claude était assez impressionnante
    Quand je lui ai demandé de m’aider à pratiquer le français, j’ai pu poser des questions supplémentaires sur certaines formulations employées par Claude, et il m’a expliqué des usages précis ainsi que le contexte des structures linguistiques
    En revanche, j’aimerais que les réponses aient un ton plus conversationnel
    Même à un simple « Merci ! », la réponse par défaut ressemble à un paragraphe, 5 ou 6 puces, puis encore un paragraphe ; c’est adapté aux questions techniques, mais pour la pratique de la conversation, cela devient vite lassant