Phind-70B dévoilé : un modèle exécutable 4 fois plus rapide qui réduit l’écart de qualité de code avec GPT-4 Turbo

 (phind.com)
6 points par GN⁺ 2024-02-23 | 3 commentaires | Partager sur WhatsApp
  • Traite jusqu’à 80 tokens par seconde (GPT-4 Turbo : ~20 tokens par seconde)
  • Prend en charge une fenêtre de 32K tokens
  • Affiné à partir du modèle CodeLlama-70B avec 50B tokens supplémentaires
  • Atteint 82,3 % sur HumanEval, dépassant GPT-4 Turbo (gpt-3-0125-preview) à 81 %
  • Sur le CRUXEval de Meta, obtient 59 %, légèrement en dessous des 62 % de GPT-4
  • En génération de code, il est presque au niveau de GPT-4 Turbo, voire le dépasse sur certaines tâches
  • Moins « lazy » que GPT-4 Turbo, il n’hésite pas à générer des exemples de code détaillés

À lire aussi

3 commentaires

 
cosine20 2024-02-27

J’ai découvert Phind via GeekNews il y a environ un an, et depuis je lui confie presque toutes mes questions liées au code. Il lui arrive parfois de tâtonner, mais avec le temps j’ai acquis un certain savoir-faire pour formuler mes questions de façon à ce qu’il se perde moins.
 
GN⁺ 2024-02-23
Avis Hacker News

  • Partage d’expérience avec Phind

    • J’utilise Phind presque tous les jours depuis 3 à 4 semaines, et la qualité du code généré est bonne, avec une exécution correcte.
    • Il est plus précis que ChatGPT et oriente davantage dans la bonne direction.
    • ChatGPT est devenu plus lent depuis plus de deux mois, mais pour étudier un sujet, ChatGPT reste plus détaillé et plus explicatif.

  • Doutes sur l’évaluation de la qualité du code

    • J’ai résolu un problème de découpage de chaîne avec l’expression régulière fournie par GPT-4, ajouté les tests unitaires nécessaires, puis validé le commit avec succès.
    • Malgré plusieurs tentatives, le modèle 70B n’a pas réussi à fournir de réponse à ce problème.
    • Chaque fois que j’essaie un autre modèle que GPT-4, j’ai l’impression de perdre mon temps.

  • Message du fondateur de Phind

    • Le modèle Phind-70B peut être essayé gratuitement sans connexion.

  • Impression sur la vitesse de réponse et la qualité de Phind

    • La vitesse de réponse est impressionnante, mais je ne suis pas particulièrement satisfait de la qualité.
    • GPT-4 finit par prendre en compte les requêtes POST après quelques essais, alors que Phind se concentre surtout sur les requêtes GET.

  • Un défi amusant pour les LLM

    • Un puzzle logique basique est proposé aux LLM pour tester leur capacité à le résoudre.
    • Phind-34B réagit de manière particulièrement amusante et tourne parfois en boucle.

  • Comparaison d’expérience pour écrire un plugin Wireshark

    • Partage d’un retour d’expérience comparant Phind et ChatGPT pour écrire un plugin Wireshark.

  • Question sur une possible intégration API

    • Question sur la possibilité d’intégrer l’API de Phind à aider.chat, optimisé pour utiliser GPT-4 pour le code.

  • Partage d’expérience avec Phind

    • Un utilisateur de Phind depuis plus d’un an dit le préférer à GPT.
    • Il y a eu des problèmes de répétition ou de boucle après de longues séries de questions.

  • Réaction de Phind à la traduction de code

    • ChatGPT 3.5/4 traduit parfois un fichier Go entier en C#, tandis que Phind refuse de traduire l’ensemble du code.

  • Vitesse et performances de Phind-70B

    • Phind-70B est bien plus rapide que GPT-4 Turbo, grâce à l’utilisation de la bibliothèque TensorRT-LLM de NVIDIA et de GPU H100.