OpenAI dévoile GPT‑Live
(openai.com)- Pour rapprocher ChatGPT Voice d’une conversation en temps réel plus naturelle, OpenAI dévoile GPT‑Live‑1 et GPT‑Live‑1 mini
- Grâce à une architecture full-duplex, le modèle peut écouter et parler en même temps, avec de brèves marques d’écoute, des échanges rapides et la capacité d’attendre pendant que l’utilisateur réfléchit
- Les anciens systèmes vocaux en cascade ou basés sur des tours souffraient de latence, de pertes d’information et d’interruptions peu naturelles ; GPT‑Live vise à réduire ces limites via une interaction continue
- Les recherches, le raisonnement et les tâches complexes sont délégués en arrière-plan à des modèles récents comme GPT‑5.5, tandis que GPT‑Live maintient la conversation
- Le déploiement arrive sur iOS, Android et ChatGPT.com ; Go, Plus et Pro utiliseront GPT‑Live‑1, tandis que la formule Free aura GPT‑Live‑1 mini comme modèle par défaut de ChatGPT Voice
GPT‑Live change l’architecture des conversations vocales
- GPT‑Live est une nouvelle génération de modèle vocal conçue pour rendre les conversations vocales avec l’IA plus proches de véritables échanges humains
- Son élément clé est une architecture full-duplex permettant d’écouter et de parler en même temps pendant la conversation
- Pendant que l’utilisateur parle, le modèle peut montrer qu’il écoute avec de courtes réactions comme « mhmm » ou « yeah »
- Il gère les conversations au rythme rapide
- Il peut rester silencieux et attendre quand l’utilisateur a besoin de temps pour réfléchir
- Cette architecture rend ChatGPT Voice plus naturel et, à long terme, permet aussi d’ajouter la voix à des tâches de type agent plus complexes et plus longues
Les limites de l’ancien fonctionnement de ChatGPT Voice
- Les systèmes vocaux en cascade comme les premières versions de ChatGPT Voice traitaient une prise de parole en enchaînant plusieurs modèles
- original ChatGPT Voice reliait un modèle convertissant la voix en texte, un grand modèle de langage générant la réponse, puis un modèle transformant le texte en voix
- Cela permettait déjà de converser à l’oral avec des modèles d’IA de pointe, mais des informations pouvaient se perdre entre les modèles, et les réponses pouvaient devenir lentes ou rigides
- Les modèles vocaux basés sur des tours comme ChatGPT Advanced Voice Mode ont réduit la latence en traitant et générant l’audio dans un seul modèle
- Ils continuaient toutefois à fonctionner selon une structure par tours, ne répondant qu’une fois que l’utilisateur avait fini de parler
- Comme la détection de fin de tour repose sur le silence, une courte pause ou un bruit de fond peut être interprété à tort comme la fin de la prise de parole
- Le modèle peut alors interrompre au mauvais moment de manière peu naturelle
Interaction continue et délégation des tâches
- GPT‑Live ne traite pas des messages séparés les uns après les autres ; il continue à recevoir l’entrée tout en générant la sortie
- Le modèle prend plusieurs fois par seconde des décisions d’interaction
- parler
- continuer à écouter
- marquer une pause
- interrompre
- appeler un outil
- Cette approche permet des échanges plus naturels, une meilleure perception du timing et la traduction en temps réel
- Les tâches profondes sont traitées séparément de GPT‑Live
- Les questions nécessitant de la recherche, du raisonnement ou des fonctions plus agentiques peuvent être déléguées à d’autres modèles comme GPT‑5.5
- Pendant que plusieurs tâches sont traitées en arrière-plan, GPT‑Live continue la conversation
- L’architecture combine ainsi des interactions vocales naturelles avec l’usage des modèles et agents les plus récents
Versions du modèle et plan de déploiement
- OpenAI a commencé à déployer progressivement GPT‑Live‑1 et GPT‑Live‑1 mini auprès des utilisateurs de ChatGPT dans le monde entier
- Une disponibilité via API est également prévue ; les développeurs et entreprises peuvent demander à être informés via ce form
- Au lancement, GPT‑Live s’appuie sur GPT‑5.5 en arrière-plan
- GPT‑Live‑1 instant et GPT‑Live‑1 mini utilisent le modèle GPT‑5.5 Instant
- GPT‑Live‑1 Medium et GPT‑Live‑1 High utilisent respectivement le modèle GPT‑5.5 Thinking avec un effort de raisonnement medium et high
- OpenAI prévoit de continuer à mettre à jour les modèles de fond utilisés par GPT‑Live à mesure que de nouveaux modèles frontier seront lancés
Résultats des évaluations
- OpenAI a créé une nouvelle évaluation humaine pour mesurer le plaisir de la conversation et sa fluidité
- Dans des conversations calibrées de 5 à 10 minutes, GPT‑Live‑1 et GPT‑Live‑1 mini sont nettement préférés à Advanced Voice Mode
- préférence globale
- alternance des tours de parole
- interruptions
- fluidité de la conversation
- naturel de l’interaction
- GPT‑Live‑1 obtient de meilleurs résultats qu’Advanced Voice Mode sur plusieurs benchmarks
- GPQA : teste un raisonnement scientifique de niveau expert en biologie, chimie et physique, avec une nette avance pour GPT‑Live‑1
- BrowseComp : teste la recherche web de type agent et la capacité à trouver des informations difficiles à dénicher, avec une forte amélioration pour GPT‑Live‑1
- τ³-Voice Telecom : variante interne testant des agents vocaux sur des tâches réalistes de support opérateur multi-tours, où GPT‑Live‑1 affiche de meilleures performances
- L’évaluation τ³-Voice Telecom utilise un modèle utilisateur personnalisé alimenté par les derniers modèles de raisonnement
Une expérience ChatGPT Voice qui évolue
- Chaque semaine, plus de 150 millions de personnes parlent avec ChatGPT via des fonctions comme Voice et Dictation
- Les utilisateurs emploient la voix pour de l’aide au quotidien en mode mains libres, l’apprentissage des langues, les histoires du soir ou les conversations pendant les trajets
- En appuyant sur le bouton Voice, l’utilisateur accède à une expérience fondée sur GPT‑Live
- des conversations plus naturelles
- des réponses plus intelligentes
- une meilleure écoute
- des réponses visuelles
- L’utilisateur peut interrompre avec une question, faire une pause pour organiser sa pensée ou demander à ChatGPT de parler plus lentement
- ChatGPT peut montrer qu’il suit avec des réactions comme « mhmm » ou « got it »
- Les 9 voix distinctives de ChatGPT ont été remastérisées pour GPT‑Live
- L’utilisateur peut choisir le niveau de raisonnement
- Instant : réponses rapides
- Medium et High : permettent à ChatGPT de réfléchir plus longtemps
- ChatGPT Voice peut attendre sans interrompre quand l’utilisateur prend un moment pour réfléchir
- Si l’utilisateur demande à ChatGPT de rester silencieux et d’écouter, il peut s’y conformer
- Même avec des bruits de fond comme des voitures qui passent ou des conversations autour, le système se concentre mieux sur la voix de l’utilisateur
- Pour certains sujets comme la météo, les actions ou le sport, il peut afficher pendant la conversation des cartes visuelles enrichies
- Voice continue de prendre en charge la recherche, la mémoire, les images et l’envoi de fichiers
Garde-fous et supervision
- GPT‑Live s’appuie sur les améliorations de sécurité des derniers modèles et ajoute un entraînement spécifique à la sécurité vocale ainsi que de nouvelles protections
- OpenAI étend ses évaluations fondées sur l’audio afin de mieux refléter les conditions réelles d’utilisation de la voix
- À partir de ce qui a été appris avec Advanced Voice Mode, l’entreprise a aussi créé des évaluations synthétiques utilisant de l’audio généré
- automutilation
- psychose et manie
- dépendance émotionnelle à l’IA
- violence
- contenu sexuel
- Des experts internes ont mené des tests de red team sur des risques propres à la voix
- Lors des tests, GPT‑Live a obtenu des résultats comparables ou meilleurs qu’Advanced Voice Mode sur presque tous les domaines évalués
- Les détails des tests et des protections sont disponibles dans la system card de GPT‑Live
- Comme les conversations vocales se déroulent en temps réel, des protections supplémentaires agissent même pendant que le modèle parle
- si une sortie potentiellement dangereuse est détectée, le système l’oriente vers une réponse plus sûre
- il peut afficher des messages de sécurité ou des ressources supplémentaires
- dans les situations à risque plus élevé, il peut mettre fin à la conversation vocale
- Pour les conversations liées à l’automutilation, le flux d’assistance de ChatGPT a été adapté à la voix, y compris une aide via des lignes d’urgence validée par des experts
- Des protections supplémentaires ont aussi été conçues pour les adolescents
- des comportements adaptés à l’âge sont directement appris au modèle afin de réduire le risque de réponses inappropriées
- les parents peuvent choisir dans Parental Controls si leur adolescent peut utiliser ChatGPT Voice
- les parents connectés peuvent recevoir des alertes dans les situations à haut risque présentant des signes potentiels d’automutilation ou d’intention suicidaire
- Des mesures de long terme et une surveillance post-lancement axées sur la dépendance émotionnelle sont également en cours
- elles s’appuient sur la précédente étude affective use and emotional well-being
- elles servent à repérer de nouveaux schémas dans les interactions émotionnellement sensibles et à améliorer la manière de répondre
- GPT‑Live est un modèle de conversation, et non un outil destiné à l’imitation vocale
- il utilise l’ensemble de voix prédéfinies de ChatGPT
- des protections empêchent l’imitation de la voix de personnes réelles
Couverture et limites actuelles
- GPT‑Live est en cours de déploiement auprès des utilisateurs de ChatGPT dans le monde entier sur iOS, Android et ChatGPT.com
- GPT‑Live‑1 devient le modèle par défaut de ChatGPT Voice pour les utilisateurs Go, Plus et Pro
- GPT‑Live‑1 mini devient le modèle par défaut pour les utilisateurs Free
- Plus de détails sur la disponibilité sont disponibles dans le Help Center
- GPT‑Live est optimisé pour certaines langues largement utilisées sur ChatGPT
- dans certaines langues, des limites peuvent subsister avec les accents non natifs ou la fluidité
- OpenAI travaille à améliorer l’expérience dans plusieurs langues
- Au lancement, ChatGPT ne prend pas encore en charge la vidéo vocale ni le partage d’écran via la voix
- OpenAI travaille à l’introduction prochaine de ces fonctions
- ces fonctions restent disponibles dans les versions existantes de ChatGPT Voice, comme Standard et Advanced Voice Mode
1 commentaires
Avis de Hacker News
Je l’ai utilisé en avant-première pendant quelques semaines et c’était plutôt bon. J’ai eu une conversation d’une heure en promenant mon chien, et ça a donné un brainstorming assez correct sur l’un de mes projets.
La meilleure fonctionnalité, c’est qu’on peut déléguer les questions à GPT-5.5 en arrière-plan, donc on n’est plus coincé avec un modèle vocal qui a des années de retard sur l’état de l’art.
J’ai aussi signalé un bug amusant : il m’interrompait alors que je parlais encore et riait de choses qui n’étaient pas censées être des blagues. Heureusement, ils semblent avoir réduit ce comportement ; à l’époque, ça faisait un peu impoli et condescendant.
J’ai hâte de l’essayer, mais j’espère que ce ne sera pas un ratage aussi flippant et surjoué que Sesame. La direction que je souhaite rendrait sans doute difficile une forte hausse de l’engagement, donc j’ai l’impression qu’ils finiront par continuer à pousser vers la fausse petite amie IA.
J’avais envie d’utiliser le mode vocal de ChatGPT pour brainstormer pendant les trajets ou le sport, mais le sentiment d’être coincé dans le passé m’en a fait moins l’utiliser.
Quand on pose une question, il répond quelque chose comme : « C’est une question intéressante. Je peux vous aider. Voulez-vous en savoir plus sur X ? », et si on repose la question, on obtient le même genre de non-réponse.
Gemini, en particulier, termine à chaque fois par une question bizarre, et impossible de l’empêcher de façon fiable avec un prompt ; j’ai donc fini par créer mon propre client STT → modèle → TTS pour mes vrais workflows. Le STT et le TTS sont utiles chacun indépendamment.
Il y a peut-être un peu de valeur dans le fait que le modèle réponde plus vite et de manière plus nuancée, mais pas énormément. Je peux attendre la fin d’une réponse ; je préférerais surtout qu’elle soit vraiment utile. Je ne cherche pas un ami numérique.
Grâce à la délégation, je vois un peu l’intérêt du modèle vocal pour des fonctions d’orchestration, mais je n’aime pas devoir parler à un modèle aux capacités et aux quirks différents simplement parce que le média de communication a changé, et je ne comprends pas vraiment pourquoi certains apprécient ça.
C’est exactement l’inverse de la direction que devrait prendre l’IA. Les relations humaines sont ce que nous avons de plus précieux, et la technologie cherche naturellement à s’interposer entre elles, et maintenant à les remplacer.
Je ne suis pas catholique, mais ce podcast contient un argumentaire intéressant contre le fait de traiter l’IA comme un interlocuteur humain : https://newpolity.com/podcasts-hub/debate-chatbots
Les gens appellent ça aider l’humain, mais j’y vois quelque chose qui aspire l’humanité hors des humains.
Une fois le mal fait, les grandes entreprises hausseront les épaules en disant : « Nous n’avons fait que répondre à la concurrence. » Une entreprise n’est pas humaine, donc elle ne connaît pas l’humanité. Les entreprises et les machines voient les humains comme une proie, et les humains les ont créées en croyant au progrès. On appelle cela progrès parce que cela exigeait des capacités intellectuelles et nous a aidés à dominer les autres espèces, mais les dauphins doivent bien se moquer de nous.
S’il s’agit d’un mode vocal IA qui remplace la socialisation ou la conversation humaines, je trouve ça cringe moi aussi, et je suis entièrement d’accord. Que ce soit par texte ou par voix, c’est pareil.
Mais s’il s’agit d’une interface alternative pour interagir avec l’IA comme outil, je trouve l’idée excellente. Il y a eu des moments où j’aurais aimé disposer d’un mode vocal qui fonctionne bien, quand j’étais trop fatigué pour taper ou que je voulais brainstormer de manière plus libre.
Bien sûr, aujourd’hui, la distinction entre utiliser l’IA comme une personne ou comme un outil dépend entièrement de l’utilisateur. Je veux beaucoup le second cas, et si quelqu’un veut l’utiliser dans le premier, ce n’est pas mon problème. C’est juste dommage, car au final cette fonctionnalité sera probablement jugée moins sur ses avantages comme outil que sur la manière régressive et réductrice dont la personne moyenne l’utilisera.
Une grande partie des interactions humaines se fait aussi par texte. Par exemple, ce commentaire.
Cela dit, on peut aussi défendre l’idée qu’il faudrait la rendre plus robotique. Comme dans Star Trek. Honnêtement, pour le travail, ce serait peut-être mieux. Une sorte de « mode exécution » froid, d’une efficacité pure.
Ce qui manque dans cette annonce, c’est la capacité à utiliser des connecteurs et des outils. Je ne comprends pas bien. Parmi les assistants de pointe comme Claude, ChatGPT, Gemini ou Grok, aucun ne peut utiliser des outils ou des connecteurs en mode vocal
Ça paraît pourtant tellement évident : je veux pouvoir discuter tout en faisant des recherches, en ouvrant des documents, en prenant des notes et en faisant du travail productif. Je n’ai pas envie de quitter le mode vocal chaque fois que je dois me connecter à une app ou à un service
Ce qui est étrange, c’est que l’ancien mode vocal de Claude pouvait utiliser des outils, mais qu’avec la refonte il a perdu cette capacité et qu’il est désormais verrouillé sur Haiku
Je suis content qu’on ait enfin un mode vocal basé sur un modèle de pointe, dont on peut espérer qu’il soit aussi bon que le vocal de Grok, mais c’est dommage qu’on ne voie toujours pas d’utilisation d’outils en mode vocal
Je ne l’ai pas encore essayé moi-même, j’ai seulement lu l’annonce
La réaction de Sam était : « Oui, il n’a pas accès à des outils comme un minuteur. C’est un problème connu, et ça arrivera d’ici environ un an »
Le clip est ici : https://www.youtube.com/shorts/Py2YgJe8fqQ
Il y a un endroit configuré pour tester le modèle gpt-realtime-2 avec l’utilisation d’outils : https://sippet.ai/?enabler=hn
En revanche, à cause du traitement multimodal, j’ai eu pas mal d’événements bizarres et de conditions de concurrence entre les messages et les séquences audio à déboguer. Mais dans l’ensemble, c’est très bon
Je prévois de passer à ce modèle plus tard aujourd’hui et je reviendrai partager les résultats
De toute façon, on peut toujours vibe coder un truc avec pi pour en faire un
Comme beaucoup de fonctionnalités d’IA, c’est à la fois impressionnant et un peu flippant. Je n’ai jamais vraiment utilisé d’interfaces vocales comme Siri, Google ou celles qu’on trouve sur les TV, donc je ne suis probablement pas le public cible, mais ça ressemble quand même à une amélioration
Ce qui est flippant, c’est que nous vivons à une époque où nous sommes plus déconnectés les uns des autres que jamais. Faut-il vraiment aussi remplacer la conversation ? La démo avec des femmes âgées suggère quelque chose ; je pense qu’il existe déjà un problème dans la manière dont la société traite les personnes âgées, ainsi qu’un immense problème de solitude chez les seniors. Imaginer des gens s’attacher vraiment à une machine qui ne pense pas réellement me rend triste, avec un malaise évident
Ici Atty d’OpenAI
GPT-Live-1 est la première version d’une nouvelle génération de modèles, et je pense que son architecture full-duplex et ses capacités de délégation rendent possible une manière entièrement nouvelle d’interagir entre humains et IA
J’aimerais avoir vos retours
Je me demande dans quelle mesure vous ressentirez une responsabilité personnelle si, dans cinq ans, on entend dire que des ados ne passent du temps qu’avec vos chatbots, ou si vous n’en ressentirez aucune
Formulé ainsi, c’est misleading, car on pourrait croire que le client général n’a pas non plus cette fonctionnalité
Ça m’énerve, parce qu’en voyant ça je vais peut-être me réabonner à ChatGPT. Avant les LLM, je n’aurais jamais cru utiliser autant les fonctionnalités vocales, mais actuellement ChatGPT a la meilleure interface vocale
Je mettrais l’interface de Grok juste derrière, puis Claude ensuite
L’un de mes cas d’usage préférés est de discuter et d’apprendre sur des sujets aléatoires en conduisant
C’est beaucoup mieux qu’avant, mais ça reste nettement plus faible que le chat direct
Par exemple, j’ai demandé : « Vous dites souvent que la norme d’un vecteur n’encode pas la plupart des informations utiles ; alors pourquoi l’attention des LLM devrait-elle utiliser le produit scalaire plutôt que la similarité cosinus ? »
La réponse vocale allait dans la bonne direction, mais manquait de détails et donnait un peu l’impression de botter en touche
La réponse en chat texte à la même question était de bien meilleure qualité
Dans la réponse vocale, il a dit « Je vais y réfléchir… », donc il semble bien appeler 5.5 comme annoncé, mais c’est clairement plus faible
J’avais réglé les paramètres de raisonnement de la même manière des deux côtés
Donc s’il y a beaucoup de texte, il vaut mieux l’afficher à l’écran
Ce genre de conversation deviendrait assez étrange
Je me demande s’il existe un modèle open source full-duplex publié, à part PersonaPlex. Parmi les modèles publiés côté chinois, il me semble qu’un modèle au nom ressemblant à Fun Audio chat avait annoncé vouloir sortir une version full-duplex, mais je ne sais pas s’il l’a réellement fait.
Mon rêve, c’est un modèle open source full-duplex avec des appels de fonctions ou une sortie texte très basique. PersonaPlex reste intéressant, mais il m’a semblé qu’il faudrait du fine-tuning pour gérer le traitement des sorties ou éviter qu’il ne parte facilement en vrille.
https://si.inc/posts/hertz-dev/
Il ne fait que 8,5B, et ne donne pas vraiment l’impression d’être totalement conversationnel.
Pour l’instant, je fais tout via iMessage, mais ce serait pratique, quand j’ai les mains prises dans la cuisine, de pouvoir dire à la voix d’ajouter des choses à ma liste de courses. J’aimerais aussi avoir des conseils sur le micro et l’enceinte à choisir, et côté cerveau je compte réutiliser un Raspberry Pi qui traîne.
Gemini live sait déjà faire ça depuis plus d’un an. Il suffit de le lancer sur téléphone et, en pratique, ça marche étonnamment bien, surtout pour gérer les interruptions.
Je l’ai testé avec une grand-mère néerlandaise de 95 ans : il passait sans accroc de l’anglais au néerlandais, gérait bien sa mauvaise audition et acceptait très bien les demandes de répétition.
C’est un peu surprenant de voir OpenAI en train de rattraper son retard ici.
Si on pose le téléphone sur un trépied, il peut guider toute la réparation étape par étape.
Ce qui rend ce modèle particulier, c’est qu’il peut déléguer des tâches au modèle de pointe pendant la conversation.
Le pire scénario, c’est que les gens s’habituent tellement à parler avec des IA qui sont toujours d’accord avec eux qu’ils finissent par perdre la capacité de discuter avec des êtres qui expriment un point de vue différent du leur ou des réponses qui ne flattent pas leur ego.