OpenAI dévoile les plugins ChatGPT
(openai.com)- Un système de plugins qui permet d’étendre les capacités de ChatGPT
- Permet d’accéder à des informations en temps réel, aux dépôts de documents / bases de connaissances d’une entreprise, d’effectuer des calculs ou d’utiliser des services tiers comme des réservations / commandes
- OpenAI a aussi présenté deux plugins qu’il a développés en interne : Web Browser (accès à des URL externes) et Code Interpreter (un interpréteur Python fourni dans un environnement sandbox)
- Le plugin Knowledge Base Retrieval est publié en open source, afin que chacun puisse l’utiliser et l’étendre pour exploiter sa propre base de connaissances
- Les premiers plugins ont été développés par Expedia, FiscalNote, Instacart, KAYAK, Klarna, Milo, OpenTable, Shopify, Slack, Speak, Wolfram et Zapier
- Le programme est actuellement en Limited Alpha, et il faut s’inscrire sur une waitlist pour développer des plugins
~~ Le texte de présentation publié par kuroneko est également reproduit ici.
- OpenAI prévoit de lancer la fonctionnalité de plugins pour ChatGPT et recrute actuellement via une liste d’attente.
- Elle permet à ChatGPT d’accéder à des informations récentes ou d’être exécuté en lien avec des services tiers.
- Démo montrant la recherche d’un restaurant via OpenTable, le calcul des calories d’une recette avec WolframAlpha, puis la commande des ingrédients via Instacart.
- Trois plugins conçus en interne ont aussi été présentés.
- Un plugin de navigation qui permet à ChatGPT d’explorer directement le web.
- Il peut lancer une recherche, cliquer sur le lien approprié dans les résultats, revenir à la page précédente pour consulter d’autres résultats, ou lancer une nouvelle recherche.
- Il parcourt le web comme un humain et restitue les résultats.
- Un plugin Code Interpreter qui permet à ChatGPT d’exécuter directement du code Python.
- Il fournit un environnement d’exécution Python sandboxé, conservé pendant toute la durée de la conversation.
- L’utilisateur peut téléverser des fichiers dans l’espace de travail et télécharger les résultats générés.
- Démo montrant l’analyse d’un fichier CSV, la création de graphiques ou le traitement d’une image fournie.
- Un plugin de recherche qui permet à ChatGPT d’accéder à des informations personnelles ou organisationnelles.
- ChatGPT effectue la recherche à partir d’une requête en langage naturel et retrouve les contenus les plus pertinents parmi des sources comme des fichiers, notes ou e-mails.
- Ce plugin est publié en open source.
8 commentaires
Chaque entreprise a également rédigé un billet de présentation de son propre plugin ChatGPT.
https://twitter.com/gdb/status/1638971232443076609
Il s’agit d’un exemple d’utilisation du plugin de traitement vidéo publié par Greg Brockman, le président d’OpenAI.
Après avoir envoyé un fichier mp4 et demandé « extrait-moi seulement les 5 premières secondes », il crée une vidéo ne contenant que ces 5 secondes et génère un lien de téléchargement.
En plus, une vidéo qui lit et résume les réactions à l’URL Hacker News liée à ChatGPT Plugins
https://twitter.com/gdb/status/1638986918947082241
Si les plugins sont bien exploités, il semble qu’ils pourraient vraiment remplacer des tâches normalement effectuées par des humains.
Par exemple, rechercher et réserver à ma place les billets d’avion les moins chers sur une période donnée, identifier et commander les produits du quotidien nécessaires en se connectant à la domotique de la maison, ou encore lire les e-mails que j’ai reçus et ne me signaler de nouveau que ce qui est réellement important...
Je me dis qu’au moment où les plugins seront ouverts à tous, cela pourrait provoquer le même impact que lors du lancement de ChatGPT.
Et les plugins développés en interne sont eux aussi vraiment fascinants.
D’après le document qui explique GPT-4 en détail, il aurait été possible de le faire agir comme un humain, et j’ai l’impression que c’est ce type de capacités qui a été appliqué à la navigation web et à l’exécution de code Python.
Surtout pour Python, si cela évolue encore davantage, ChatGPT pourrait peut-être même se connecter à de grands serveurs GPU pour entraîner GPT-5... N’est-ce pas là la singularité ?
Il existe des services qui génèrent des revenus en partageant des prompts, donc ça risque de les impacter.
Aïe, je l’ai rédigé dès que je l’ai vu, mais j’ai eu quelques minutes de retard. Peut-on supprimer le sujet en doublon ?
Votre article est excellent, mais comme il n’y a pas de fonction pour fusionner les sujets, je vais fusionner manuellement le corps du texte. Merci.
Ce serait bien si vous pouviez également publier ici le même commentaire tel quel !
J’ai republié le commentaire. Merci !
Je me demandais justement pourquoi ce n’était pas possible… ils ont fait en sorte qu’on puisse participer de différentes manières.
Le flux de développement des plugins est aussi assez simple. https://platform.openai.com/docs/plugins/introduction
Il suffit de mettre le manifeste sur son propre site web, d’enregistrer le plugin, et il devient utilisable.
Ça fait penser à l’App Store des débuts du smartphone.