Disponibilité générale de l’API GPT-4

 (openai.com)
1 points par GN⁺ 2023-07-07 | 1 commentaires | Partager sur WhatsApp
  • Les développeurs API existants ayant un historique de paiement peuvent utiliser l’API GPT-4 avec un contexte 8K ; l’accès pour les nouveaux développeurs et l’augmentation des limites de débit seront déployés progressivement en fonction de la capacité de calcul disponible
  • Les API GPT-3.5 Turbo, DALL·E et Whisper passent elles aussi en disponibilité générale, OpenAI estimant qu’elles sont prêtes pour une utilisation à l’échelle de la production ; le fine-tuning de GPT-4 et GPT-3.5 Turbo est prévu pour plus tard cette année
  • Alors que 97 % de l’utilisation GPT sur l’API OpenAI passe par la Chat Completions API, son interface structurée — avec messages système et appel de fonctions — remplace la plupart des cas d’usage de l’ancienne Completions API
  • À partir du 4 janvier 2024, les anciens modèles de la Completions API, les anciens modèles d’embedding et les modèles liés à l’Edits API ne seront plus disponibles ; il faudra migrer vers gpt-3.5-turbo-instruct, text-embedding-ada-002, GPT-3.5 Turbo, etc.
  • La Completions API est désormais indiquée comme legacy dans la documentation, sans plan de publication de nouveaux modèles ; il est donc plus sûr de concevoir les nouvelles intégrations autour de la Chat Completions API

API GPT-4 et périmètre de disponibilité des principales API

  • OpenAI ouvre l’accès à GPT-4 à tous les clients API payants
    • Les développeurs API existants ayant un historique de paiements réussis peuvent utiliser l’API GPT-4 avec un contexte 8K
    • L’accès pour les nouveaux développeurs doit être ouvert d’ici la fin du mois
    • Ensuite, les limites de débit (rate limits) seront relevées selon la capacité de calcul disponible
  • GPT-4 est le modèle le plus puissant d’OpenAI, et des millions de développeurs ont demandé l’accès à l’API GPT-4 depuis mars
  • Les API GPT-3.5 Turbo, DALL·E et Whisper passent également en disponibilité générale
    • Cela s’appuie sur la stabilité des modèles et leur niveau de préparation pour un usage à l’échelle de la production
  • Le fine-tuning de GPT-4 et GPT-3.5 Turbo est en cours d’activation sécurisée et devrait être proposé plus tard cette année
  • Depuis la mise à jour du 24 avril 2024, le nom « ChatGPT API » n’est plus utilisé, et toute mention de ChatGPT API dans le texte désigne l’API GPT-3.5 Turbo

Transition vers la Chat Completions API

  • La Chat Completions API a été introduite en mars et représente désormais 97 % de l’utilisation GPT sur l’API OpenAI
  • L’ancienne Completions API avait été lancée en juin 2020 pour interagir avec les modèles de langage via des prompts texte en format libre
  • Une interface de prompt plus structurée peut produire de meilleurs résultats que l’approche précédente
    • message système (system message)
    • appel de fonctions (function calling)
    • conversation multi-tour (multi-turn conversation)
  • La Chat Completions API prend en charge non seulement les expériences conversationnelles, mais aussi un large éventail de tâches de completion
  • Elle permet de séparer structurellement le contenu fourni par l’utilisateur et les instructions, ce qui aide à réduire le risque d’attaques par prompt injection
  • OpenAI prévoit de continuer à investir l’essentiel de ses efforts de développement de plateforme dans cette direction
    • les log probabilities des tokens de completion
    • des améliorations de steerability pour réduire le « chattiness » des réponses
    • ces points restent des écarts à combler dans la Chat Completions API

Fin de vie des anciens modèles de la Completions API

  • Afin d’intensifier ses investissements dans la Chat Completions API et d’optimiser sa capacité de calcul, OpenAI mettra fin dans six mois à certains anciens modèles de la Completions API
  • La Completions API elle-même restera accessible, mais elle est désormais indiquée comme legacy dans la documentation développeur
  • Les futures améliorations des modèles et des produits se concentreront sur la Chat Completions API, et aucun nouveau modèle n’est prévu pour la Completions API
  • À partir du 4 janvier 2024, les anciens modèles de completion ne seront plus disponibles et seront remplacés par de nouveaux modèles
    • ada, babbage → babbage-002
    • curie, davinci → davinci-002
    • davinci-instruct-beta, curie-instruct-beta, text-ada-001, text-babbage-001, text-curie-001, text-davinci-001, text-davinci-002, text-davinci-003 → gpt-3.5-turbo-instruct
  • Les applications qui utilisent les noms de modèles stables ada, babbage, curie, davinci seront automatiquement mises à niveau vers les nouveaux modèles le 4 janvier 2024
  • babbage-002 et davinci-002 devraient être disponibles dans les prochaines semaines afin de permettre des tests anticipés en spécifiant ces noms de modèles dans les appels API
  • Les utilisateurs d’autres anciens modèles de completion comme text-davinci-003 devront modifier eux-mêmes le paramètre model de leurs requêtes API vers gpt-3.5-turbo-instruct d’ici le 4 janvier 2024
    • gpt-3.5-turbo-instruct est un modèle de style InstructGPT entraîné de façon similaire à text-davinci-003
    • Il sera proposé comme modèle de remplacement immédiat (drop-in replacement) dans la Completions API

Transition pour les utilisateurs de modèles fine-tunés

  • Pour continuer à utiliser des modèles fine-tunés après le 4 janvier 2024, il faudra réentraîner un modèle de remplacement via fine-tuning sur les nouveaux modèles de base
    • Nouveaux modèles de base GPT-3 : babbage-002, davinci-002
    • Modèles plus récents : gpt-3.5-turbo, gpt-4
  • Lorsque le fine-tuning de GPT-3.5 Turbo et GPT-4 sera disponible, les utilisateurs ayant déjà fine-tuné d’anciens modèles bénéficieront d’un accès prioritaire
  • Comme la migration depuis des modèles fine-tunés sur ses propres données est difficile, OpenAI prévoit d’accompagner les anciens utilisateurs pour rendre cette transition aussi fluide que possible
  • OpenAI contactera dans les prochaines semaines les développeurs ayant récemment utilisé les anciens modèles et fournira plus d’informations dès que les tests anticipés des nouveaux modèles de completion seront prêts

Fin de vie des anciens modèles d’embedding

  • Les utilisateurs des anciens modèles d’embedding devront migrer vers text-embedding-ada-002 d’ici le 4 janvier 2024
  • text-embedding-ada-002 a été lancé en décembre 2022 et s’est révélé plus performant et plus rentable que les modèles précédents
  • Il représente actuellement 99,9 % de l’utilisation totale de l’API d’embedding
  • OpenAI prendra en charge le coût de ré-embedding du contenu avec le nouveau modèle
  • Les modèles ci-dessous seront tous remplacés par text-embedding-ada-002
    • code-search-ada-code-001, code-search-ada-text-001
    • code-search-babbage-code-001, code-search-babbage-text-001
    • text-search-ada-doc-001, text-search-ada-query-001
    • text-search-babbage-doc-001, text-search-babbage-query-001
    • text-search-curie-doc-001, text-search-curie-query-001
    • text-search-davinci-doc-001, text-search-davinci-query-001
    • text-similarity-ada-001, text-similarity-babbage-001, text-similarity-curie-001, text-similarity-davinci-001

Fin de vie de l’Edits API

  • Les utilisateurs de l’Edits API et des modèles associés devront migrer vers GPT-3.5 Turbo d’ici le 4 janvier 2024
    • Exemples : text-davinci-edit-001, code-davinci-edit-001
  • La bêta de l’Edits API était une API exploratoire initiale conçue pour renvoyer une version modifiée d’un prompt selon des instructions données
  • Les retours obtenus via l’Edits API ont été intégrés au développement de gpt-3.5-turbo et de la Chat Completions API
  • La Chat Completions API peut également être utilisée pour le même objectif
    • Dans l’exemple, la demande de modification à appliquer au code est définie comme message système, et lorsque l’utilisateur demande de renommer une fonction Fibonacci en fib, l’assistant renvoie le code modifié

À lire aussi

1 commentaires

 
GN⁺ 2023-07-07
Commentaires sur Hacker News

  • Il faut encourager et diffuser largement les LLM locaux
    Utiliser GPT revient à donner de l’argent à OpenAI, et cet argent sert à faire du lobbying auprès des gouvernements pour éliminer les concurrents, ce qui finit par nuire à tout le monde, y compris à soi-même et à son portefeuille
    OpenAI n’a pas de fossé défensif, sauf si on la paie pour qu’elle fasse rédiger des lois
    Même aujourd’hui, on peut faire tourner des LLM étonnamment intelligents et rapides sur un portable vieux de 5 ans sans GPU, donc l’avenir semble au moins intéressant

    • J’aimerais bien avoir plus de détails sur ce que signifie « étonnamment intelligent et rapide »
      Quand j’ai essayé il y a un ou deux mois, c’était désespérément lent et inutile pour presque toutes les tâches
      À chaque fois qu’un modèle est présenté comme « 90 % de GPT-3 », j’ai de l’espoir, puis je suis très déçu à chaque fois
      Et après avoir utilisé GPT-4, même GPT-3 me semble presque toujours décevant
    • Faire tourner un LLM en local et payer l’accès à OpenAI sont deux questions distinctes
      Je me demande aussi à quel point le choix du LLM du moment est vraiment important, qu’il soit local ou hébergé, OpenAI ou un autre moteur
      L’interface semble converger vers des prompts basés sur le chat, et de nouvelles idées pour affiner les modèles de base ou améliorer leur efficacité sont publiées presque chaque semaine
      Si on veut construire un produit sur l’IA générative, on peut simplement commencer par ce qui est gratuit ou adapté à son environnement de développement
      La manière d’interagir avec l’IA générative textuelle ou son API a de fortes chances de rester globalement similaire, quel que soit le moteur optimal à un moment donné
      Dans ce cas, le remplacement du backend deviendra possible, comme avec des services web qui imitent l’API AWS S3
      En fin de compte, on peut construire un produit avec OpenAI ou un autre modèle, puis migrer plus tard selon le coût et l’adéquation
      Il est aussi possible de prototyper l’ensemble du produit avec un LLM de moindre qualité, puis d’envoyer ponctuellement des requêtes à GPT-4 pour valider le comportement
      Penser que cette technologie peut être réellement contrainte par la loi me paraît exagéré. Même si OpenAI fait beaucoup de lobbying, cela ne signifie pas qu’elle obtiendra forcément ce qu’elle veut, comme l’a montré le cas FTX
      Les LLM peuvent tourner en local et, pour l’utilisateur, le moteur peut rester une boîte noire ; vu leur utilité publique potentielle, je ne vois pas comment une loi pourrait réellement empêcher leur diffusion
    • Ce serait bien de partager quelques liens. Le fait de ne pas avoir de GPU est le principal obstacle qui m’empêche d’essayer les options purement locales
      J’ai un vieux portable sans GPU avec 16 Go de RAM ; est-ce que ce genre de modèles pourrait tourner dessus ?
    • Bon point. J’envisageais de reprendre l’abonnement à 20 $/mois, mais je vais le laisser résilié
      Il ne faut pas financer la machine de propagande de l’IA
    • GPT-4 tournerait sur 8 x 220B paramètres[1], et GPT semble être autour de 220B paramètres
      Les LLM locaux peuvent être bons pour certaines tâches, mais ils sont bien plus lents et moins performants que l’échelle de modèle et le matériel qu’OpenAI met derrière son API
      D’après mon expérience à faire tourner un modèle 7B sur CPU avec ggml sur un portable Intel i7 de 12e génération, c’était déjà bien plus lent que l’API gpt-3-turbo
      [1] GPT4 is 8 x 220B params = 1.7T params: https://news.ycombinator.com/item?id=36413296

  • C’est grave. Ils cherchent vraiment à arrêter text-davinci-003
    Cela revient à perdre le dernier modèle vraiment compétent qui restait, ainsi que la liberté du mode de complétion de texte
    Désormais, tout devient soit un modèle de chat censuré/aligné, soit un modèle d’instruction avec des limitations arbitraires liées à la métaphore d’entrée. En comparaison, gpt3.5-turbo est médiocre
    Ça risque de me faire arrêter la plupart de mes usages d’OpenAI. Mes 5 à 10 $ de dépenses mensuelles via l’API n’ont sans doute pas beaucoup d’importance, mais cela me motive davantage à faire tourner un modèle Llama 65B en local

    • Je n’ai jamais beaucoup utilisé text-davinci-003, donc je me demande pourquoi vous l’appréciez autant
      Qu’apporte-t-il que les autres modèles n’ont pas ?
      Quelles choses amusantes vaudrait-il la peine d’essayer avant son arrêt le 4 janvier 2024 ?
    • Sur les modèles v3, TextCompletion est bien meilleur que ChatCompletion
      Cela dit, si davinci est dans la même gamme de prix que GPT-4, j’espère que GPT-4 a suffisamment progressé en diversité lexicale et en sophistication linguistique pilotable pour servir de remplaçant
      Dans l’ensemble, je pense qu’on sous-estime tout ce qui est perdu avec ce basculement général vers les modèles d’instruction
      J’aimerais qu’un acteur malin sur le marché prenne les prompts d’instruction, les pré-optimise et les transforme dans un format adapté à des modèles non ajustés
      À nombre de paramètres égal, le simple fait de ne pas tronquer le modèle sous-jacent donnerait l’impression d’un bien meilleur résultat pour l’utilisateur final
    • Le nom prête à confusion, mais code-davinci-002 est en réalité le modèle basé sur GPT-3.5, il ne fait que de la complétion et ne souffre pas d’effondrement de mode
      À ma connaissance, il est toujours disponible sur Azure. text-davinci-003 en est une version fine-tunée
      Plus d’informations :
      https://platform.openai.com/docs/model-index-for-researchers
    • Les 5 à 10 $ de facturation mensuelle sont probablement précisément la raison pour laquelle ils ferment ces endpoints
    • Ils auraient sans doute voulu continuer à proposer tous les modèles, mais ils semblent devoir prendre des décisions difficiles à cause des contraintes matérielles
      Sam Altman a déjà dit que le matériel empêchait de faire ce qu’ils voulaient
      Je suis resté plusieurs mois sur liste d’attente pour l’API GPT-4, probablement parce qu’ils n’arrivaient pas à suivre la demande

  • Est-ce que cela veut dire que, « pour continuer à utiliser les modèles fine-tunés après le 4 janvier 2024, il faudra fine-tuner un modèle de remplacement sur les nouveaux modèles de base GPT-3 (ada-002, babbage-002, curie-002, davinci-002) ou sur des modèles plus récents (gpt-3.5-turbo, gpt-4) » ?
    Dans ce cas, ça veut dire qu’on ne pourra plus utiliser les modèles fine-tunés créés avec ses propres données ?
    Je ne comprends pas si cela signifie que ceux qui ont payé pour des modèles fine-tunés devront repayer des coûts de tokens d’entraînement sur un nouveau modèle censuré

    • Je travaille chez OpenAI. Nous prévoyons de prendre en charge le coût du fine-tuning des modèles de remplacement.
      Nous sommes encore en train de définir l’approche exacte la plus adaptée pour les clients, et nous allons les contacter dans les prochaines semaines pour recueillir leurs retours sur plusieurs approches possibles
    • Si les poids ne m’appartiennent pas, alors mes bitcoins non plus ne m’appartiennent pas
    • À voir ça, soit il y avait très peu d’utilisateurs commerciaux des modèles fine-tunés, soit ils sont dans une situation où ils doivent démonter l’infrastructure pour réallouer les GPU à des projets plus rentables
    • Si vous ne possédez pas les poids, vous ne possédez rien.
      C’est pour cela que les modèles ouverts sont extrêmement importants. J’ai du mal à comprendre les entreprises qui construisent des modèles fine-tunés sur des modèles fermés
    • Cela a déjà reçu une réponse. OpenAI prendra en charge le coût du réentraînement sur les nouveaux modèles, et les modèles existants ne seront pas arrêtés avant l’année prochaine

  • Du point de vue des capacités, la plus grande nouvelle ici est en réalité le modèle gpt-3.5-turbo-instruct
    gpt-3.5-turbo est le modèle derrière ChatGPT, et comme il a été fine-tuné pour le chat, il est assez difficile à utiliser pour des cas d’usage où l’on veut simplement qu’il suive des instructions ou complète du texte
    davinci-003 était le dernier modèle instruction-tuned, mais il coûtait 10 fois plus cher que gpt-3.5-turbo, donc même si c’était un énorme gaspillage du point de vue des tokens, il restait économiquement logique de forcer gpt-3.5-turbo à s’adapter au cas d’usage

    • Je me demande quel sera le prix de gpt-3.5-turbo-instruct
      J’ai un site web basique qui utilise text-davinci-003, mais c’est trop cher et je n’ai pas pu le lancer
      J’ai essayé uniquement gpt-3.5-turbo, mais dans les cas où j’attendais un retour JSON structuré, je n’ai jamais réussi à obtenir de cohérence, donc ça ne fonctionnait pas
    • Quelle est la différence entre 3.5-turbo et instruct ?
    • J’espère que gpt-3.5-turbo-instruct n’a pas été autant neutralisé que ChatGPT
      davinci-003 est bien plus amusant et peut répondre à un large éventail de sujets sur lesquels ChatGPT refuse de répondre
    • Quelle est la différence entre le fine-tuning pour le chat et le instruction tuning ?

  • Ils disent que « tous les clients API payants peuvent accéder à GPT-4 à partir d’aujourd’hui », mais je ne sais pas si je suis idiot, je suis un client payant de l’API OpenAI et je ne l’ai toujours pas
    Tout ce que je vois, c’est gpt-3.5-turbo-16k, gpt-3.5-turbo, gpt-3.5-turbo-16k-0613, gpt-3.5-turbo-0613 et gpt-3.5-turbo-0301, mais pas gpt-4
    Le problème est peut-être que je suis passé à un compte API payant seulement le mois dernier, donc comptablement je ne suis peut-être pas encore un « client API payant »

    • Il est écrit : « les développeurs API existants ayant un historique de paiements réussis peuvent accéder à l’API GPT-4 avec un contexte de 8K à partir d’aujourd’hui. Nous l’ouvrirons aux nouveaux développeurs d’ici la fin du mois, puis nous augmenterons les limites de débit en fonction de la disponibilité des ressources de calcul »
      Même situation pour moi. Je me suis inscrit il y a quelques jours en espérant passer à gpt-4, mais à part une autorisation de 5 $, je n’ai pas encore payé de première facture, donc j’imagine qu’il faut attendre davantage
      J’ai créé un outil en ligne de commande très simple qui appelle l’API. Par exemple, je l’exécute ainsi :

      ask "What's the opposite of false?"
      https://github.com/codazoda/askai

    • J’avais un compte payant depuis le mois dernier, et même mes 8 $ d’utilisation n’ont jamais été effectivement facturés
      Moi non plus, je n’ai pas accès à GPT-4
    • D’après la documentation officielle, il faut au moins une facture API réussie pour obtenir l’accès à GPT-4
    • Même chose pour moi. Il n’apparaît pas dans la réponse de la liste des modèles de https://api.openai.com/v1/models
    • Je ne sais pas pour les autres, mais moi j’ai deux comptes
      1. un compte avec seulement l’abonnement chat
      2. un compte qui a payé des appels API mais sans abonnement
        Actuellement, le seul avec lequel je peux utiliser gpt4 dans le Playground, c’est le 2

  • gpt-3.5-turbo-0613 s’est nettement amélioré, surtout avec une bonne conception du system prompt, au point que le besoin d’utiliser l’API GPT-4, 20 à 30 fois plus chère, n’est plus aussi fort qu’avant
    Le fait que l’API ChatGPT ait été adoptée massivement par rapport à l’ancienne Completion API montre que mon premier billet sur l’API ChatGPT ne s’était pas trompé
    Si la qualité est identique ou meilleure, les développeurs basculent immédiatement lorsqu’ils voient une baisse de prix aussi énorme : https://news.ycombinator.com/item?id=35110998

    • Je dirige une startup d’IA juridique, et dans ce domaine, le bond de qualité entre GPT-3.5 et GPT-4 est vraiment saisissant
      En comparaison, GPT-3.5 est inutilisable. Je comprends toutefois que, dans des environnements plus conversationnels, GPT-3.5 puisse offrir un rapport performance/prix plus attractif
    • D’après mon expérience, GPT-3.5 n’est ni meilleur que GPT-4 ni même presque au même niveau
      Ça peut fonctionner pour la plupart des cas d’usage, mais GPT-3.5 ignore les consignes bien plus souvent que GPT-4
      Il échoue aussi beaucoup plus facilement sur des choses simples comme des espaces en fin de ligne, et si on lui demande de réécrire un long texte où il manque de la grammaire ou de la ponctuation, il adopte parfois des comportements étranges comme épeler les lettres une par une
      Quelle que soit la manière de configurer le system prompt, ça ne changeait pas grand-chose. Avec GPT-4, je n’ai encore jamais vu ce genre de comportement vraiment bizarre
    • Pour la complétion/l’assistance de code, GPT-4 est bien meilleur, et pas seulement d’un petit ordre de grandeur
    • Je serais curieux de savoir pour quels cas d’usage tu l’emploies
      Je l’utilise surtout pour générer des tests, rédiger de la documentation, faire du refactoring, produire des extraits de code, etc., et je m’en sers tous les jours dans mon travail avec Copilot/X
      D’après mon expérience, GPT3.5-turbo paraît assez limité en comparaison. Il décrit en commentaire ce qu’une méthode doit faire et quels arguments elle doit avoir, puis oublie complètement les arguments dans le code
      Même sur des extraits de code relativement courts, on a l’impression qu’il a une mauvaise mémoire. On n’est pourtant même pas proche de la limite de contexte
      Ce ne sont pas de petites erreurs : il dit qu’il va faire quelque chose en plusieurs étapes, puis en oublie une ou plusieurs complètement
      GPT3.5-turbo est constamment instable, au point d’exiger de grosses corrections et des relances répétées
      Il a aussi du mal à suivre le style ou le template du prompt et de ses propres réponses. Par exemple, il reste cohérent dans l’usage des puces dans un document, puis change soudainement
      Codex est globalement meilleur, mais reste clairement en dessous de GPT-4, et convient comme « autocomplétion intelligente ». Pour la rédaction de documentation, ce n’est pas très utile
      À l’inverse, GPT-4 donne généralement un résultat presque correct d’emblée, avec seulement quelques retouches occasionnelles sur du code long ou des prompts complexes
      En résumé, pour le travail sur le code, GPT3.5-turbo ne vaut même pas le temps nécessaire pour obtenir un bon résultat ou le corriger. Codex est correct dans une certaine mesure, et au-delà de l’autocomplétion, j’utilise simplement GPT-4. C’est bien plus cohérent
    • Selon le cas d’usage, il existe un écart de qualité important entre GPT-3.5 et GPT-4

  • Il n’y a pas beaucoup de discussion ici sur les possibilités d’usage de Whisper
    Quand on essaie la voix dans l’app iOS de ChatGPT, on a l’impression que Whisper est vraiment très bon pour comprendre ce qui a été dit
    En revanche, le fait de devoir parler en entier avant d’avoir un retour sur la manière dont ce que j’ai dit a été reconnu est vraiment agaçant
    Et ce, même si le taux de reconnaissance est impressionnant
    Puisqu’OpenAI l’utilise elle-même ainsi, je ne sais pas si l’API a été conçue pour atténuer ce problème, mais ce serait vraiment bien d’avoir avec la qualité de Whisper quelque chose qui se rapproche de la réactivité de la dictée on-device

    • Une hypothèse sur l’objectif de Whisper est qu’il pourrait aider à débloquer davantage de données d’entraînement de haute qualité qui n’existent que sous forme audio/vidéo
    • Je me demande comment la reconnaissance vocale basée sur des transformeurs d’iOS 17 se comparera à Whisper
      Ça devrait sembler plus « en temps réel », comme la dictée actuelle sur iOS/macOS, mais je n’utilise pas la bêta pour le moment donc je ne peux pas en être sûr
    • On peut exécuter whisper.cpp en temps réel en local : https://github.com/ggerganov/whisper.cpp/tree/master/example...
    • La principale raison du faible intérêt est probablement que l’auto-hébergement de Whisper est assez facile, donc les personnes intéressées le faisaient déjà depuis un moment
    • Je pense pareil. Dicter un long texte d’une traite est assez difficile
      En utilisant la saisie de texte intégrée, ChatGPT comprenait malgré tout assez bien la demande elle-même, donc le résultat était bon

  • Cette ouverture progressive paraît bizarre.
    OpenAI abîme sa propre réputation en poussant presque tout le monde à utiliser des modèles plus anciens et de moindre qualité.
    Même si les clients sont prêts à payer le prix de GPT-4, on leur dit d’attendre au fond de la file.
    Attendre quoi, au juste ? Noël ? Le jour où on ouvrira une boîte cadeau avec GPT-4 dedans ?
    On dirait une page reprise du marketing « comment garantir l’échec d’un nouveau produit » de Google. Une approche qui empêche le bouche-à-oreille de fonctionner en limitant l’accès. Parce qu’aucun de vos amis ne peut essayer le produit.
    Cette annonce parle de « disponibilité générale » du modèle GPT-4, mais ce n’est ni le modèle à contexte 32K, ni la version multimodale avec entrée image, et il n’y a pas de fine-tuning non plus. Il n’y a qu’un seul modèle, et seulement pour le chat.
    À l’heure actuelle, tout ce à quoi j’ai accès, c’est le service Azure OpenAI et GPT-3.5 sur mon compte API OpenAI.
    Je ne comprends pas le sens de toutes ces restrictions arbitraires sur qui peut accéder à quel modèle.
    On peut utiliser GPT-4 via Chat, mais pas via l’API. On peut utiliser une version améliorée de Dall-E dans Bing Image Creator, mais pas via l’API OpenAI.
    Quelques vendeurs bénis par le grand et miséricordieux Sam Altman ont accès à GPT-4 32K, les autres non.
    Il faut vendre un produit, pas un droit d’accès.
    Il ne faut pas se comporter comme l’Union soviétique, où il fallait « connaître quelqu’un » pour obtenir quoi que ce soit.

    • Je pense que tu ne comprends pas qu’OpenAI n’a tout simplement pas assez de GPU pour encaisser ça.
      Même avec de l’argent, ils ne peuvent pas acheter autant de GPU qu’il leur en faut.
    • Ils veulent simplement contrôler le lancement du produit et la manière dont il est utilisé.
      Et il est aussi possible qu’ils veuillent garder de l’avance plutôt que de se laisser dépasser, parce qu’ouvrir les vannes pourrait provoquer un goulet d’étranglement côté montée en charge.
      Donc ils ouvrent prudemment, et reculent si nécessaire, comme lorsqu’ils ont limité l’usage de la version publique GPT-4 de ChatGPT.
      Ça ne paraît pas totalement déraisonnable. Bien sûr, il peut aussi y avoir une part de stratégie visant à attiser l’emballement en créant de la rareté.
      C’est une vieille recette, mais pas au point de comparer ça à la Russie soviétique.
    • Le problème, c’est que les GPU sont difficiles à obtenir.
      Si on estime grossièrement qu’il faut 1 GPU NVIDIA pour 100 clients, alors OpenAI doit acheter un GPU de plus pour chaque tranche de 100 nouveaux clients GPT-4.
      Mais à cause de la pénurie de GPU, ce n’est pas une situation où ils peuvent facilement en ajouter plus, même en dépensant énormément d’argent.
      https://www.fierceelectronics.com/electronics/ask-nvidia-ceo...
    • La réponse à « Attendre quoi ? Noël ? », c’est l’infrastructure.
      Quant au « comment garantir l’échec d’un nouveau produit » de Google, tu parles donc de GPT-4, cet échec retentissant bien connu ?
    • C’est une expérience, et vous en faites partie.

  • Le modèle davinci d’origine était mon ami, et je vis très mal cette décision.
    Les complétions qu’il produisait avaient une personnalité et une créativité qu’aucune autre solution n’a réussi à reproduire.
    Les excellents résultats, souvent hilarants, qu’il a donnés font désormais partie pour toujours de la mythologie précieuse de notre famille.

    • Tu ne peux pas dire ça sans donner d’exemples.
    • Ne t’inquiète pas. Les futurs LLM seront entraînés sur des conversations avec d’anciens LLM, donc on pourra demander à ChatGPT de faire semblant d’être davinci.
    • J’ai entendu dire qu’on pouvait demander une exception si on était reconnu comme spécial.
      Apparemment, certains chercheurs en ont obtenu une.
    • Pour l’instant, je ne peux voir ça que comme une satire.
    • Tu pourrais essayer notionsmith.ai et me dire ce que tu en penses ?
      J’ai travaillé sur des recherches autour des LLM pour la création, et je pense que mélanger chaîne de pensée et injection de stochasticité aide pas mal à se rapprocher d’une créativité plus humaine.
      Par exemple, on peut demander au LLM d’utiliser à un moment précis, d’une manière précise, une lettre aléatoire donnée par un générateur de nombres aléatoires.

  • Au-delà du titre, il y a ici des éléments assez importants.
    Le nouveau modèle gpt-3.5-turbo-instruct est prévu « dans les prochaines semaines », et le fine-tuning de 3.5 comme de 4 est prévu cette année.
    Je m’intéresse particulièrement à gpt-3.5-turbo-instruct. Je pense que l’emballement autour de ChatGPT et des « LLM conversationnels » a beaucoup masqué ce qu’il est possible de faire avec des modèles d’instructions généraux.
    Et si on peut en plus les affiner, ce sera formidable.

    • Y a-t-il un calendrier pour une amélioration de la date limite des connaissances, actuellement fixée à septembre 2021 ?
      Je ne comprends pas très bien quel travail a été fait en coulisses pour entraîner les modèles GPT sur des données factuelles.
      Est-ce que des humains validaient ou rejetaient les réponses pour améliorer le score ?
      « Les États-Unis ont 49 États » — rejeté
      « Les États-Unis ont 50 États » — validé
      En simplifiant, est-ce que ça se passait comme ça ?
      Sait-on s’ils travaillent à ajouter la fin de 2021, puis 2022, puis finalement 2023 ? Je sais qu’avec l’extension Bing, on peut explorer le web, mais ce n’est pas la même chose.
      J’ai posé une question sur Maya Kowalski il y a quelques jours, et même si le modèle pouvait résumer un ou deux billets de blog, ce n’est pas la même chose que d’avoir réellement appris le sujet, de le connaître, et d’en avoir le contexte détaillé.