1 points par GN⁺ 2023-11-07 | 1 commentaires | Partager sur WhatsApp
  • Lors du DevDay, OpenAI a étendu le modèle central de sa plateforme API à GPT‑4 Turbo et a fortement élargi sa gamme de produits pour développeurs en dévoilant aussi l’Assistants API, des capacités multimodales et des baisses de prix
  • GPT‑4 Turbo, doté d’un contexte de 128K et de connaissances allant jusqu’à avril 2023, est proposé à un prix 3 fois inférieur à GPT‑4 pour les tokens d’entrée et 2 fois inférieur pour les tokens de sortie
  • La nouvelle Assistants API réunit Code Interpreter, Retrieval, les appels de fonctions et des threads persistants sans limite de longueur, afin de créer dans les applications des assistants IA orientés objectif
  • L’API ajoute les entrées visuelles, DALL·E 3 et la synthèse vocale (TTS), tandis que GPT‑3.5 Turbo prend en charge par défaut un contexte de 16K, le JSON mode et les appels de fonctions parallèles
  • La limite de tokens par minute des clients GPT‑4 payants est doublée, et Copyright Shield prend en charge la défense contre les réclamations pour violation de droits d’auteur ainsi que les frais associés pour ChatGPT Enterprise et les fonctionnalités généralement disponibles de la plateforme développeurs

Mises à jour de GPT‑4 Turbo et GPT‑3.5 Turbo

  • GPT‑4 Turbo est lancé en preview comme modèle de nouvelle génération de GPT‑4
    • Tous les développeurs payants peuvent l’utiliser dans l’API en passant gpt-4-1106-preview
    • Un modèle stable prêt pour la production doit être lancé dans les prochaines semaines
    • Sa fenêtre de contexte de 128K permet d’inclure dans un seul prompt l’équivalent de plus de 300 pages de texte
    • Ses connaissances du monde vont jusqu’à avril 2023
  • Les prix sont inférieurs à ceux de GPT‑4
    • Tokens d’entrée GPT‑4 Turbo : $0.01/1,000 tokens
    • Tokens de sortie GPT‑4 Turbo : $0.03/1,000 tokens
    • Les entrées sont 3 fois moins chères que GPT‑4, et les sorties 2 fois moins chères
  • Les appels de fonctions (function calling) permettent désormais d’appeler plusieurs fonctions dans un même message
    • Par exemple, une demande comme « ouvre la fenêtre de la voiture et éteins la climatisation » peut être traitée dans un seul message, sans plusieurs allers-retours comme auparavant
    • GPT‑4 Turbo a davantage de chances de renvoyer les bons paramètres de fonction
  • Le JSON mode limite les réponses du modèle à du JSON valide
    • Le nouveau paramètre d’API response_format permet de forcer la génération d’un objet JSON syntaxiquement correct
    • Il est utile aux développeurs qui génèrent du JSON avec la Chat Completions API en dehors des appels de fonctions
    • GPT‑4 Turbo obtient de meilleures performances que les modèles précédents dans les tâches consistant à suivre des consignes de format précises, comme « réponds toujours en XML »
  • Les sorties reproductibles et les probabilités logarithmiques sont aussi ajoutées
    • Le paramètre seed prend en charge les sorties reproductibles en renvoyant, dans la plupart des cas, des completions cohérentes
    • Il peut servir au débogage par relecture des requêtes, à des tests unitaires plus complets et au contrôle du comportement du modèle
    • La fonctionnalité de renvoi des probabilités logarithmiques pour les tokens de sortie les plus probables de GPT‑4 Turbo et GPT‑3.5 Turbo doit être lancée dans les prochaines semaines
    • Elle est utile pour créer des fonctionnalités comme l’autocomplétion dans une expérience de recherche
  • Le nouveau GPT‑3.5 Turbo prend en charge par défaut une fenêtre de contexte de 16K
    • Il est accessible dans l’API via gpt-3.5-turbo-1106
    • Il prend en charge une meilleure conformité aux instructions, le JSON mode et les appels de fonctions parallèles
    • Dans les évaluations internes, les tâches de respect de format comme la génération de JSON, XML et YAML progressent de 38 %
    • L’ancien modèle gpt-3.5-turbo-0613 restera accessible jusqu’au 13 juin 2024
    • Les applications utilisant le nom gpt-3.5-turbo ne seront plus mises à niveau automatiquement

Assistants API, Retrieval, Code Interpreter

  • L’Assistants API est lancée comme une première étape permettant aux développeurs de créer des expériences de type agent dans leurs applications
    • Un assistant est une IA orientée objectif, dotée d’instructions spécifiques, capable d’exploiter des connaissances supplémentaires et d’appeler des modèles et des outils pour exécuter des tâches
    • Elle vise des cas d’usage comme les applications d’analyse de données en langage naturel, les assistants de codage, les planificateurs de voyage IA, les DJ contrôlés par la voix ou les canevas visuels intelligents
    • Elle est construite sur les fonctionnalités qui rendent possible le nouveau produit GPTs d’OpenAI, comme les custom instructions, Code Interpreter, Retrieval et les appels de fonctions
  • Le changement clé est l’arrivée de threads persistants sans limite de longueur
    • Les développeurs peuvent confier la gestion de l’état des threads à OpenAI
    • Le fonctionnement consiste à ajouter de nouveaux messages à un thread existant afin de contourner les contraintes de la fenêtre de contexte
  • L’Assistants API peut appeler plusieurs outils
    • Code Interpreter : écrit et exécute du code Python dans un environnement d’exécution sandboxé, génère des graphiques et des diagrammes, et traite des fichiers de différents types de données et formats
    • Retrieval : enrichit l’assistant avec des connaissances externes au modèle, comme des données de domaine propriétaires, des informations produit ou des documents fournis par l’utilisateur
    • Avec Retrieval, les développeurs n’ont pas besoin d’implémenter eux-mêmes le stockage des embeddings de documents, le chunking ni les algorithmes de recherche
    • Function calling : l’assistant peut appeler des fonctions définies par le développeur et intégrer les réponses de ces fonctions dans les messages
  • Les données et fichiers transmis via l’API ne sont pas utilisés pour entraîner les modèles d’OpenAI, et les développeurs peuvent les supprimer quand ils le jugent approprié
  • L’Assistants API est disponible en bêta pour tous les développeurs et peut être testée sans code dans l’Assistants playground
  • Les tarifs de l’Assistants API et des outils sont disponibles sur la page de tarification d’OpenAI

Fonctionnalités vision, image et voix ajoutées à l’API

  • GPT‑4 Turbo with vision peut recevoir des images en entrée dans la Chat Completions API
    • Il prend en charge des cas d’usage comme la génération de légendes, l’analyse détaillée d’images réelles et la lecture de documents contenant des illustrations
    • BeMyEyes utilise cette technologie pour aider les personnes aveugles et malvoyantes dans des tâches quotidiennes comme l’identification de produits et les déplacements en magasin
    • Les développeurs peuvent y accéder via gpt-4-vision-preview
    • La prise en charge de la vision sera intégrée au modèle principal GPT‑4 Turbo dans le cadre d’une version stable
    • Le prix dépend de la taille de l’image d’entrée ; transmettre une image 1080×1080 à GPT‑4 Turbo coûte $0.00765
  • DALL·E 3 peut être intégré aux applications et produits via l’Images API en spécifiant le modèle dall-e-3
    • Snap, Coca-Cola et Shutterstock utilisent DALL·E 3 pour générer par programme des images et designs destinés à leurs clients et campagnes
    • Comme pour les versions précédentes de DALL·E, l’API inclut une modération intégrée pour aider à prévenir les abus
    • Des options de format et de qualité sont proposées, avec des prix à partir de $0.04 par image générée
  • L’API de synthèse vocale (TTS) génère une voix de niveau humain à partir de texte
    • Le nouveau modèle TTS propose 6 voix prédéfinies
    • Deux variantes du modèle sont disponibles : tts-1 et tts-1-hd
    • tts-1 est optimisé pour les cas d’usage en temps réel, tandis que tts-1-hd est optimisé pour la qualité
    • Les prix commencent à $0.015 pour 1 000 caractères en entrée

Personnalisation des modèles

  • OpenAI met en place un programme d’accès expérimental au fine-tuning de GPT‑4
    • D’après les résultats préliminaires, le fine-tuning de GPT‑4 nécessite davantage de travail pour obtenir des améliorations significatives par rapport au modèle de base, contrairement aux gains importants obtenus avec le fine-tuning de GPT‑3.5
    • Lorsque la qualité et la sécurité du fine-tuning de GPT‑4 seront améliorées, les développeurs qui utilisent activement le fine-tuning de GPT‑3.5 se verront proposer, dans la console de fine-tuning, une option pour candidater au programme GPT‑4
  • Le Custom Models program s’adresse aux organisations ayant besoin d’une personnalisation plus poussée que le fine-tuning
    • Il concerne en particulier les domaines disposant de très grands jeux de données propriétaires, d’au moins plusieurs milliards de tokens
    • Les organisations sélectionnées pourront entraîner un GPT‑4 custom pour un domaine spécifique avec un groupe dédié de chercheurs d’OpenAI
    • Toutes les étapes du processus d’entraînement du modèle peuvent être modifiées, depuis un pré-entraînement supplémentaire spécialisé par domaine jusqu’à un post-entraînement RL custom adapté à un domaine précis
    • Les organisations disposent d’un accès exclusif à leur custom model
    • Le custom model n’est ni fourni ni partagé avec d’autres clients, et n’est pas utilisé pour entraîner d’autres modèles
    • Les données propriétaires fournies pour entraîner le custom model ne sont pas réutilisées dans d’autres contextes
    • Le programme démarre d’abord de manière très limitée et coûteuse

Baisses de prix et hausse des rate limits

  • OpenAI baisse les prix dans plusieurs domaines de la plateforme
    • Tous les prix sont indiqués pour 1,000 tokens
  • Prix de GPT‑4 Turbo
    • GPT‑4 8K : entrée $0.03, sortie $0.06
    • GPT‑4 32K : entrée $0.06, sortie $0.12
    • GPT‑4 Turbo 128K : entrée $0.01, sortie $0.03
  • Prix de GPT‑3.5 Turbo
    • Ancien GPT‑3.5 Turbo 4K : entrée $0.0015, sortie $0.002
    • Ancien GPT‑3.5 Turbo 16K : entrée $0.003, sortie $0.004
    • Nouveau GPT‑3.5 Turbo 16K : entrée $0.001, sortie $0.002
    • Le nouveau prix ne s’applique qu’au nouveau GPT‑3.5 Turbo présenté ce jour-là
    • Les utilisateurs de l’ancien GPT‑3.5 Turbo 4K bénéficient d’une baisse de 33 % du prix des tokens d’entrée
  • Prix du fine-tuning GPT‑3.5 Turbo
    • Ancien fine-tuning GPT‑3.5 Turbo 4K : entraînement $0.008, entrée $0.012, sortie $0.016
    • Nouveau fine-tuning GPT‑3.5 Turbo 4K·16K : entraînement $0.008, entrée $0.003, sortie $0.006
    • Les tokens d’entrée deviennent 4 fois moins chers, et les tokens de sortie 2,7 fois moins chers
    • Les nouveaux modèles GPT‑3.5 Turbo prennent en charge le fine-tuning avec un contexte de 16K au même prix que le 4K
    • Le nouveau prix s’applique aussi aux modèles fine-tuned gpt-3.5-turbo-0613
  • Les rate limits sont aussi relevées
    • La limite de tokens par minute est doublée pour tous les clients GPT‑4 payants
    • Les nouvelles rate limits sont consultables sur la page des rate limits
    • Les usage tiers qui déterminent l’augmentation automatique des rate limits sont publiés
    • Il est possible de demander une augmentation de limite d’utilisation dans les paramètres du compte

Copyright Shield et publications open source

  • Copyright Shield est un dispositif dans lequel OpenAI assure la défense et prend en charge les coûts si un client fait l’objet d’une réclamation juridique liée à une violation de droits d’auteur
    • Il s’applique à ChatGPT Enterprise et aux fonctionnalités généralement disponibles de la plateforme développeurs
    • OpenAI maintient sa position consistant à protéger les clients grâce aux garde-fous intégrés dans ses systèmes en matière de droits d’auteur
  • Whisper large-v3 est publié
    • Il s’agit de la prochaine version du modèle open source de reconnaissance automatique de la parole (ASR) d’OpenAI
    • Les performances sont améliorées dans plusieurs langues
    • OpenAI prévoit de prendre en charge Whisper v3 dans l’API dans un avenir proche
  • Consistency Decoder est également publié en open source
    • C’est un remplacement drop-in du décodeur VAE de Stable Diffusion
    • Il améliore toutes les images compatibles avec le VAE de Stable Diffusion 1.0+
    • Il apporte de fortes améliorations sur le texte, les visages et les lignes droites

1 commentaires

 
GN⁺ 2023-11-07
Avis sur Hacker News
  • La plupart des produits annoncés, ainsi que les baisses de prix, semblent surtout viser à renforcer la dépendance à la plateforme API d’OpenAI, ce qui n’a rien de surprenant dans un contexte de concurrence accrue
    En particulier, les démos de GPTs/GPT Agents et Assistants donnaient l’impression d’être une boîte noire dans une boîte noire impossible à déplacer ailleurs
    Les avis sur l’annonce sont partagés, et il faudra sans doute regarder de plus près les détails de la documentation API tout juste mise à jour : https://platform.openai.com/docs/api-reference
    La page des tarifs a aussi été mise à jour : https://openai.com/pricing
    En particulier, l’API DALL-E 3 coûte $0.04 par image, soit environ un ordre de grandeur plus cher que d’autres services du secteur
    Point intéressant dans la nouvelle grille tarifaire non mentionné pendant la keynote : le ChatGPT 3.5 affiné ne coûte désormais plus que 3 fois le prix du ChatGPT 3.5 de base. On est descendu depuis un facteur 8, ce qui fait du fine-tuning une option plus crédible

    • C’est une bonne stratégie. Pour éviter leurs douves, il faut soit baisser fortement en qualité et finir par entrer dans les douves d’une autre entreprise, soit baisser fortement en qualité tout en dépensant bien plus
      Après vérification, la configuration de bout en bout la plus réaliste pour posséder entièrement mon LLM consiste à faire tourner 24/7 quelques 3090 sur une carte mère grand public, mais les coûts d’exploitation sont élevés, les performances insuffisantes, et l’ensemble reste assez cher
      En dépensant un peu plus, on peut acheter une configuration Apple Silicon 128GB/192GB pour améliorer la qualité et les coûts d’exploitation, mais ce sera quand même beaucoup, beaucoup plus lent que l’offre “Turbo” d’OpenAI
      La principale raison qui me poussait à m’éloigner d’OpenAI, c’était l’impression que l’expérience de chat était bien plus subventionnée que l’API, et cette annonce semble avoir largement réduit cet écart
      En bref, OpenAI propose des conditions trop attractives pour être ignorées, et c’est un service massivement subventionné. Il ne me semble pas que le coût d’un changement futur dépassera les gains obtenus aujourd’hui
    • Je ne comprends pas très bien l’argument de la dépendance ici. Il y aura certes un coût de transition, puisqu’il faudra réapprendre certaines choses quand un concurrent apparaîtra, mais du point de vue du code, ce n’est qu’une clé et les fonctions d’une API relativement petite
      En l’absence de nouvelle réglementation, je ne vois pas ce qui empêcherait de passer d’OpenAI à Anthropic ou à un autre acteur, en dehors du coût d’apprentissage pour utiliser efficacement Anthropic sur un cas d’usage donné
      OpenAI n’a pas non plus un canal d’export dédié permettant d’extraire les données de sa base
    • Concernant l’idée que « la démo des Assistants est une boîte noire dans une boîte noire impossible à déplacer ailleurs », j’ai plutôt l’avis inverse
      La nouvelle interface Threads dans la console d’administration OpenAI montre précisément comment les entrées et sorties sont interprétées afin de réduire cet effet de boîte noire
      Source : https://platform.openai.com/docs/api-reference/runs/listRunS... ; on peut voir exactement les étapes suivies par la chaîne. C’est plus visible qu’avant
    • Avec Mistral, la communauté pourrait probablement reproduire cela en deux semaines de travail. Ce ne sera pas aussi bon, mais ce sera utilisable gratuitement en privé, avec des performances qui resteront sans doute 6 à 12 mois derrière OpenAI
    • Malgré tout, le produit en lui-même est impressionnant. J’ai essayé les alternatives, mais même Claude n’était pas au niveau de ChatGPT
      Claude donne une leçon d’éthique une réponse sur deux, ce qui coûte à chaque fois et ne donne pas envie de l’intégrer dans un produit
  • Si quelqu’un n’avait eu aucun contact avec la société depuis le 29 novembre 2022, soit la veille de la sortie de ChatGPT selon Wikipedia, puis revenait aujourd’hui pour regarder la keynote d’OpenAI, il deviendrait probablement fou
    La vitesse de progression et l’utilité de ces produits sont vraiment stupéfiantes

    • J’étais en prison quand ChatGPT est sorti. Je n’en avais vu qu’un titre passé très vite sur CNN, et j’avais appelé un ami pour lui demander : « C’est quoi, Chat OPT au juste ? »
      Je venais justement de terminer pour la deuxième fois The Singularity is Near
    • Je ne vois pas vraiment quelle fonction révolutionnaire certains disent avoir vue ici
      L’interpréteur de code et l’appel de fonctions étaient déjà possibles avec un LLM avancé capable de suivre suffisamment bien les instructions pour produire des tokens dans un format strictement analysable. Il suffisait d’envoyer cette sortie à un parseur, puis de réinjecter le résultat dans le LLM. C’était plus maladroit à faire avec une API en ligne comme ChatGPT, mais tout à fait possible
      Les chatbots personnalisés étaient aussi faciles à créer depuis un moment, et des services de création comme Poe.com existaient déjà
      La sortie JSON nécessite simplement une IA capable de produire des probabilités de tokens et de bien suivre les instructions, ainsi qu’un validateur de schéma qui choisit les tokens pour obtenir un JSON conforme au schéma
      GPT-4 128k semble révolutionnaire, mais Claude 100k existait déjà, et comme l’évaluation des LLM croît probablement de façon quadratique avec la taille du contexte, il y a de fortes chances qu’ils utilisent quelques astuces pour étendre le contexte. Ce ne sont sans doute pas des tokens “complets”. Je reconnaîtrai volontiers mon erreur si je me trompe
      Un grand contexte est utile, mais pour le code, on peut déjà faire pas mal de choses avec 8k de contexte en injectant le bon contexte, par exemple les résultats de 2 à 3 niveaux récursifs de « go to definition » pour un symbole donné
      DALL-E 3 semble être l’innovation la plus marquante, mais après l’avoir essayé, même s’il compose bien mieux que SD, il lui arrive encore de s’effondrer
      Globalement, l’annonce d’aujourd’hui ressemble davantage à du polissage et du raffinement construit sur les percées explosives de l’an dernier
    • Cette nuit-là, j’ai ouvert Twitter et j’ai vu plein de personnes du milieu tech que je suivais partager des captures d’écran de conversations avec une petite icône verte
      Je me suis dit : « Oh, encore une mode de chatbot qu’on utilisera cinq minutes puis qu’on oubliera », mais j’avais complètement tort
    • Le fait que ChatGPT ne soit sorti qu’il y a moins d’un an semble-t-il aussi étrange aux autres ? J’ai l’impression qu’il existe depuis bien plus longtemps
    • J’ai pourtant continué à avoir des contacts avec la société, et j’ai quand même l’impression de devenir fou
  • Whisper V3 est sorti : https://github.com/openai/whisper/commit/c5d42560760a05584c1...
    Cela semble être un nouveau checkpoint du modèle large. Ce serait bien si les petits modèles étaient aussi mis à jour, mais cela devrait être facile à intégrer dans ce qui utilise déjà Whisper V2
    J’ai hâte de l’ajouter aussi à mon IA vocale locale : https://www.microsoft.com/store/apps/9NC624PBFGB7
    La voix de ChatGPT utilisait probablement déjà Whisper V3, mais on y voyait encore l’hallucination typique de Whisper, « Thank you for watching! ». Cela ressemble plus à une amélioration progressive qu’à un changement révolutionnaire

    • Cette hallucination apparaît aussi pendant les passages silencieux ?
      Il y avait beaucoup de vidéos sous-titrées dans les données d’entraînement, mais comme certaines vidéos/pistes audio étaient coupées alors que la dernière phrase des sous-titres restait telle quelle, je me demande si le modèle n’en est pas venu à interpréter le silence comme la formule de fin d’une émission de télévision
      Personnellement, je pense que le goulot d’étranglement actuel de la voix se situe dans l’infrastructure autour. Des choses comme détecter le début et la fin d’une prise de parole, ou maintenir l’utilisateur prêt à parler même pendant la lecture de sons ou de voix
      Ce sont des éléments indispensables, mais dans l’ensemble ça ne fonctionne pas très bien, et une vraie intégration matériel/logiciel est nécessaire
    • J’aime bien le fait que Sama n’ait consacré que 16 secondes littérales à Whisper dans une présentation de 45 minutes : https://app.reduct.video/o/eca54fbf9f/p/250fab814f/share/9d9...
    • Il y a toujours la séparation des locuteurs ?
    • C’est dommage que l’API Whisper n’ait pas encore été mise à niveau. J’aimerais vite pouvoir l’utiliser sur https://whispermemos.com
  • Contexte de 128 000 tokens, Assistants API, mode JSON, base de connaissances arrêtée à avril 2023, GPT-4 Turbo, prix plus bas, jusqu’aux GPTs personnalisés : il y a eu beaucoup d’annonces dans l’ensemble
    https://openai.com/pricing

    • Je croyais que GPT-4 pouvait désormais accéder à Internet
  • On peut maintenant payer entre 2 et 3 millions de dollars pour le [1] préentraînement d’un modèle gpt-n personnalisé. Cela n’a pas beaucoup attiré l’attention, mais ça a l’air plutôt cool
    Si une startup peut se permettre cette somme, cela lui donnerait clairement un avantage concurrentiel
    [1] https://openai.com/form/custom-models
    J’avais oublié le lien, je l’ajoute

    • Je ne pense pas. Ils utiliseront le modèle que tu as financé et prendront tes clients
    • Waouh, ça va probablement avoir un impact direct sur notre entreprise à court terme. On avait essayé de tout faire en interne, mais sans presque aucun succès
      Même à environ 3 millions de dollars, cela semble être une option attractive
    • Si tu es le client final d’OpenAI, préentraîner un modèle gpt-n pour ton propre activité peut être acceptable
      Mais si tu es un intermédiaire OpenAI qui préentraîne un modèle gpt-n pour d’autres clients, je ne vois pas pourquoi tu crois qu’OpenAI ne finira pas par te contourner
      Il suffit de regarder les startups construites sur des API et des plateformes : pour chaque réussite, il y a un cimetière rempli par les changements de règles des API et des plateformes
  • À ceux qui sont sceptiques dans les commentaires, l’éléphant dans la pièce que personne ne veut reconnaître, c’est que GPT-4 reste de très loin meilleur que tout le reste

    • J’ai annulé mon abonnement GPT-4. Pour le code, Claude m’était plus utile, et pour le chinois, Qwen était meilleur
      En moyenne, il est peut-être meilleur, mais je ne dirais pas qu’il l’est sur toutes les tâches
      Les autres modèles vont aussi continuer à s’améliorer
    • Le seul truc que j’utilise en complément de GPT-4, c’est Phind, et rien que ça, c’est déjà assez impressionnant
    • Il y a quelque chose de prometteur ?
      L’entraînement en crowdsourcing est-il toujours irréalisable ?
      Je me souviens à quelle vitesse le monde des modèles de diffusion avançait la première année, mais après Midjourney, en comparaison avec DALL-E 3, cela semble s’être un peu enlisé. Est-ce la même situation pour les modèles de texte ?
    • Grok ? Je plaisante
  • Le playbook suivi par OpenAI ressemble à celui d’AWS. Ils commencent par des fonctions primitives comme la génération de texte et d’images, construisent ensuite une base comme EC2, S3 et RDS, puis empilent par-dessus des services à valeur ajoutée comme l’Assistants API
    Sur cet aspect, ils ont beaucoup d’avance sur AWS et sur les autres concurrents

    • Comme Amazon, ils vont concurrencer leurs propres clients. Sur ce plan aussi, ils ont déjà beaucoup d’avance. En gros, ils prennent les biens numériques de tout le monde pour les revendre
    • Je ne sais pas si j’irais jusqu’à dire qu’ils ont « beaucoup d’avance »
      AWS n’a pratiquement pas eu de concurrence pendant 7 ans, et tous les autres grands clouds d’aujourd’hui ignoraient la réalité
      OpenAI a déjà beaucoup de concurrents. Ils sont peut-être moins bien placés dans le classement pour l’instant, mais ce n’est pas comme si tout le monde avait ignoré ce domaine pendant des années avant d’essayer de rattraper son retard
  • D’après votre expérience avec ce type d’outils, est-ce que ça a aussi aidé à la maintenance d’une base de code ? Soit directement, soit indirectement grâce à un code plus lisible et mieux organisé — ça m’intéresse.
    Ces outils semblent excellents pour écrire du nouveau code. D’après mon expérience, il existe un plafond à la quantité de code qu’un développeur peut maintenir. À la fin, on ne peut plus tout garder en tête, et il faut s’arrêter pour comprendre quelque chose, ce qui rend la maintenance plus difficile.
    Si ces outils aident à écrire davantage de code mais n’aident pas pour la maintenance, je me demande si on ne va pas se retrouver dans une situation où de grandes quantités de nouveau code sont produites très rapidement, puis où tout s’arrête parce que plus personne n’en comprend vraiment le contenu en profondeur.

    • Mon outil open source de codage IA, aider, est assez unique dans le sens où il a été conçu pour fonctionner avec des bases de code existantes. On peut entrer dans un dépôt git existant et lui demander directement des modifications, de nouvelles fonctionnalités, etc.
      https://github.com/paul-gauthier/aider
      Il analyse l’arbre syntaxique abstrait de tout le code du dépôt pour créer une « carte du dépôt », ce qui aide GPT à comprendre des bases de code plus volumineuses.
      Tout cela a été construit avec tree-sitter, le même outil qui alimente la recherche et la navigation dans le code sur GitHub et dans de nombreux IDE populaires.
      https://aider.chat/docs/repomap.html
    • Oui. Les entreprises qui « augmentent » des développeurs junior avec des LLM obtiendront sans doute beaucoup de couverture positive, mais il reste à voir à quel point le marché récompensera durablement ce comportement.
      Les consommateurs le remarqueront probablement immédiatement, et côté B2B, certains pourront peut-être se laisser berner pendant quelques années avant de finir par partir vers des concurrents traditionnels de meilleure qualité, qui embauchent des profils senior.
      Cela dit, il est possible qu’on voie apparaître des modèles capables de faire croître et de maintenir une base de code cohérente. Vu l’état actuel des choses, ça ne ressemble pas à une tâche impossible. Mais comme vous l’avez souligné, on en est encore assez loin.
    • Cela fait un moment que je réfléchis à ça sous deux angles.
      D’abord, l’ère de l’ingénieur logiciel traditionnel pourrait toucher à sa fin, et laisser place à l’ère du débogueur. Des débogueurs humains passeraient leurs journées à poser des points d’arrêt et à traquer des bugs dans un océan de code généré par des LLM.
      Ensuite, le recrutement pourrait passer des problèmes Leetcode à « ouvrez le débogueur et trouvez ce qui ne va pas dans ce code ».
    • Il existe un plugin CodeGPT correct pour IntelliJ et VS Code. En gros, on sélectionne du code puis on peut lui demander une critique, un refactoring, une optimisation, de trouver des bugs, de documenter, d’expliquer, etc.
      Un contexte plus large signifie potentiellement pouvoir injecter toute la base de code. La plupart des gens ont déjà du mal à garder en tête les détails d’une petite base de code.
      L’étape suivante consiste à l’intégrer plus profondément aux outils, afin de garantir que, quoi qu’il modifie, les tests passent et que le code compile. Écrire les tests fait aussi partie des choses que cet outil peut faire.
      Il pourrait donc devenir possible de sauver avec l’aide de l’IA des bases de code legacy qui seraient autrement trop coûteuses à traiter économiquement.
      Je m’attends à une forte hausse de la productivité des développeurs assistés par l’IA au cours des prochaines années. Personnellement, je pense que ça fonctionnera mieux avec les langages à typage statique, car ils sont beaucoup plus faciles à raisonner du point de vue de l’outil.
    • En ce moment, on utilise ça pour les tests d’API. N’hésitez pas à jeter un œil à notre site web.
      https://ai.stepci.com
  • « Dans les prochaines semaines, nous prévoyons également de lancer une fonctionnalité qui renverra les log probabilities des jetons de sortie les plus probables générés par GPT-4 Turbo et GPT-3.5 Turbo, ce qui sera utile pour créer des fonctionnalités comme l’autocomplétion dans les expériences de recherche. »
    C’est assez surprenant. Ils ne s’inquiètent pas du fait que des gens puissent non seulement voler les capacités du modèle en s’entraînant sur des sorties de GPT-4, mais aussi faire une vraie distillation des connaissances à partir des logits ?
    Tout le monde pensait que c’était précisément pour ça qu’ils avaient bloqué l’accès aux logits au départ.

    • Combien de Go de logits faudrait-il pour faire de la rétro-ingénierie du modèle ? Et s’ils utilisent en plus un ensemble de plusieurs modèles, ce sera sans doute une impasse.
    • J’ai eu exactement la même réaction. J’imagine qu’ils ont fait beaucoup d’analyses et conclu que c’était suffisamment sûr.
      « Les plus probables » peut vouloir dire littéralement seulement quelques jetons, et ne couvrir qu’une toute petite partie de la distribution complète.
    • De leur point de vue, ils semblent penser que le décret exécutif règle ce problème. En rendant les modèles ouverts illégaux, par exemple.
      Leur jugement est peut-être correct, après tout.