Fuite de détails sur GPT-4 ?

 (threadreaderapp.com)
2 points par GN⁺ 2023-07-12 | 1 commentaires | Partager sur WhatsApp
  • Possibilité d'une fuite de détails sur GPT-4
  • Les informations divulguées laissent penser que GPT-4 disposera de fonctionnalités avancées
  • GPT-4 devrait offrir des capacités améliorées de traitement et de compréhension du langage naturel
  • Les détails divulgués mentionnent également une meilleure compréhension du contexte et des capacités de raisonnement accrues
  • GPT-4 aurait un modèle de plus grande taille, ce qui pourrait contribuer à de meilleures performances
  • Les informations divulguées ont suscité l'intérêt des personnes technophiles
  • Cet article examine l'impact potentiel de GPT-4 sur divers secteurs et cas d'usage
  • On ne sait pas encore quand GPT-4 sera officiellement lancé
  • Les détails divulgués ont alimenté les spéculations et les attentes parmi les ingénieurs logiciels et les passionnés de technologie

À lire aussi

1 commentaires

 
GN⁺ 2023-07-12
Avis sur Hacker News
  • La source originale des détails divulgués sur GPT-4 est un billet de blog publié sur semianalysis.com.
  • L’utilisateur de Twitter qui a partagé ces détails semble avoir reformulé le billet de blog, ce qui a entraîné la suppression du tweet.
  • Le MoE (Mixture of Experts) utilisé dans GPT-4 est intéressant et pourrait expliquer les variations de qualité dans les sorties.
  • Le modèle de vision de GPT-4 n’a pas été rendu public, mais il suscite de l’attente.
  • L’entraînement de GPT-4 a nécessité 21 yottaflops, ce qui représente une prouesse de calcul considérable.
  • Le coût d’entraînement de GPT-4 a baissé à un tiers de celui de l’an dernier, ce qui est une bonne nouvelle pour l’open source.
  • Certains supposent que la qualité de GPT-4 s’est dégradée en acceptant des séquences à faible probabilité provenant d’un modèle de speculative decoding.
  • Google étudie aussi le mélange d’experts pour faire évoluer les modèles de langage, et le modèle GLaM compte 1,7 billion de paramètres et 64 experts.
  • George Hotz a mentionné dans une interview que GPT-4 avait 220 milliards de paramètres et constituait un modèle mixte de 16 composants avec 8 ensembles de poids.
  • Il y a de la curiosité quant à la possibilité pour des services premium comme Thread Reader de continuer à fonctionner malgré les prix élevés de l’API de Twitter.
  • Certains utilisateurs cherchent des liens alternatifs pour accéder aux détails divulgués sur l’entraînement de GPT-4 sans avoir à s’inscrire sur Twitter.
  • Les seules personnes qui connaissent réellement le fonctionnement de GPT-4 sont les employés d’OpenAI ; tous les autres doivent se contenter de spéculations.