La démo « canard » de Gemini ne s’est pas déroulée en temps réel ni à la voix
(twitter.com/parmy)- L’impressionnante démo du canard Gemini de Google n’a pas été réalisée en conversation en temps réel ni par saisie vocale, contrairement à ce que la vidéo publique laissait entendre
- Le modèle n’a pas traité la vidéo telle quelle : il a reçu des images fixes extraites des scènes
- Des prompts humains ont également été utilisés, et un porte-parole a indiqué que la narration vocale de la vidéo avait été ajoutée ensuite
- La méthode réellement utilisée diffère de l’interaction en temps réel et vocale montrée dans la vidéo finale
- Pour évaluer la démo Gemini, il faut distinguer la vidéo mise en scène des entrées réellement fournies au modèle
Comment la démo du canard Gemini s’est réellement déroulée
- La démo Gemini de Google mettant en scène un canard ne s’est pas déroulée en temps réel
- Le modèle n’a pas traité directement la vidéo en temps réel, mais a reçu en entrée des images fixes tirées de scènes de la vidéo
- Des prompts humains ont été fournis au modèle, et la narration de ces prompts a été ajoutée après coup
- Cette manière de procéder a été révélée par un porte-parole
Liens associés
- Plus de détails dans cet article de Bloomberg Opinion : bloomberg.com/opinion/articl…
1 commentaires
Avis sur Hacker News
J’ai déjà fait quelque chose comme ça à l’université.
Dans notre premier cours d’informatique, on nous avait donné un Raspberry Pi, avec pour consigne de créer « quelque chose », sans expérience de code ni instructions. Le rendu n’était pas du code, seulement une démonstration fonctionnelle.
À trois, nous avons acheté un capteur d’humidité, l’avons branché au Pi et avons dit que nous allions créer un système de détection des crues, installé sous un pont, qui enverrait un e-mail aux responsables juste avant une inondation.
Lors de la démo réelle, un ami au fond de la salle avait Gmail ouvert et était prêt à envoyer un e-mail « alerte inondation », tandis que le script se contentait d’afficher des phrases entre des
wait. Après avoir affiché « attente d’humidité », puis, 3 secondes plus tard, « humidité détectée » pendant qu’on plongeait le capteur dans un verre d’eau, il affichait « envoi d’un e-mail à xxx@yyy.com » ; l’ami au fond appuyait alors sur envoyer, l’e-mail arrivait, et nous avons eu la note maximale.Il arrive qu’un client veuille voir au moins une partie comme si elle était terminée alors que le gros projet ne l’est pas encore, et qu’il attende un état final sans comprendre que 90 % du travail est invisible pour l’utilisateur.
Il est assez courant de mettre en place une fausse IHM où quelqu’un appuie sur des boutons pendant la démo, tandis que, dans la pièce d’à côté, une autre personne manipule manuellement les sorties et les entrées pour donner l’impression que tout fonctionne vraiment.
Pendant le projet, j’ai cassé tous les récepteurs GPS que j’avais sous la main ; ce modèle de module GPS RS-232 était vraiment fragile. Je ne pouvais donc pas faire de démonstration de navigation en temps réel, et de toute façon ce n’était pas vraiment terminé.
Mais j’ai quand même finalisé l’interface graphique, puis fait semblant en disant « voilà à quoi ça ressemble pendant la navigation », sans jamais lancer le code de navigation. Ce n’était pas une activité comptant pour la note, mais ça me met encore un peu mal à l’aise.
C’est vraiment étrange. Google a inventé le transformer, qui est à la base de tous ces modèles ; je ne comprends pas comment ils peuvent continuer à se planter comme ça.
Google Docs est sorti en 2006, mais Microsoft est en train de lui voler son déjeuner. Google a créé la migration de VM à chaud et des datacenters entièrement automatisés, mais dans le cloud, Amazon et Microsoft sont devant. Ils travaillent sur la conduite autonome depuis plus longtemps que quiconque, mais Tesla les a rattrapés et va probablement gagner.
L’ampleur des ratés est énorme.
Il avait un autre nom, je ne crois pas que ce soit SharePoint, et il était apparemment lié à des choses comme les notes de frais. Il aurait même fait rougir Google Docs aujourd’hui, mais ils ne voulaient pas cannibaliser leur propre produit.
Un produit demande de l’engagement et de l’itération, et les derniers 10 % sont les plus importants. Or Google refuse sans cesse de pousser ses produits au-delà de la ligne d’arrivée, les abandonne, puis les ajoute au tristement célèbre Google Product Graveyard.
Franchement, à quoi bon ? Ils pourraient se contenter de maintenir la recherche et la publicité, leur cœur de métier, sans dépenser des milliards de dollars pour des dizaines de milliers d’ingénieurs coûteux recrutés via un processus d’entretien bancal.
Dominer la recherche fondamentale en IA générative tout en se vautrant de face sur les produits grand public, c’est assez cohérent pour l’entreprise qui a fait Stadia, GMail/Inbox et 17 applications de chat.
Depuis Gmail, Google a rarement lancé par lui-même un bon produit, et même Gmail a grandi grâce au monopole de la recherche, utilisé comme panneau publicitaire gratuit.
Il est aussi écrit : « Google Docs est né en août 2005 de Writely, un traitement de texte web lancé par l’éditeur logiciel Upstartle ».
Ce dont Google s’est toujours préoccupé, c’est d’amener des applications à des milliards d’utilisateurs.
On oublie aussi que Google est aujourd’hui l’entreprise d’IA la plus rentable au monde. Tous ses produits utilisent le machine learning et l’IA.
Alors, qui est en train de perdre ? L’objectif de Gemini n’est pas de créer un chatbot façon ChatGPT alors que Bard existe déjà, mais de l’intégrer dans 10 produits à un milliard d’utilisateurs.
La page web de Gemini et tout son contenu m’ont paru étranges. On aurait dit qu’ils essayaient de ressembler à des supports marketing d’Apple, mais qu’ils étaient tombés dans la vallée de l’étrange.
Entre les formules emphatiques, la diversité raciale/de genre ajustée au millimètre, les animations inutiles et la présentation commerciale du CEO, on aurait dit un petit acteur du secteur essayant de se faire passer pour un grand.
Les keynotes Apple ressemblent à des robots tout juste sortis de la vallée de l’étrange qui prétendent être humains. Si les keynotes générées par IA dans 5 ans ressemblent à ça, alors Apple est même en avance sur les tendances en matière de keynotes.
Google semble vouloir montrer qu’ils jouent dans la même cour.
Si le marketing utilise la diversité, c’est parce que le marché visé est lui-même divers. Cela dit, je ne vois pas bien ce que veut dire le fait qu’elle soit « ajustée au millimètre ».
Le fait que Sundar ait demandé au modèle d’énoncer beaucoup de faits susceptibles d’être vrais ou faux était un gros signal d’alerte.
À en juger par les chiffres de benchmark publiés, il s’agissait surtout d’améliorations marginales, ce qui signifie que le problème des hallucinations n’est pas résolu. Pourtant, la démo donnait l’impression qu’il l’était. Au final, j’ai surtout l’impression qu’ils ont choisi des cas où le modèle tombait juste par hasard ou donnait des informations cohérentes.
Les capacités ont été exagérées, mais il semble tout de même qu’un modèle multimodal devienne nécessaire pour converger vers des concepts cohérents sur des phénomènes réellement observables à travers plusieurs modalités. C’est une bonne avancée, mais il faut maintenant montrer de façon convaincante qu’une architecture donnée modélise réellement la causalité.
C’était du genre : « Pensez-vous qu’une poche d’air chaud ait créé une basse pression et provoqué le décrochage de l’avion ? », et la question elle-même était si maladroite qu’elle semblait difficile à formuler correctement. C’était vraiment gênant.
[1] https://www.youtube.com/watch?v=mHZSrtl4zX0&t=277s
On le comprend facilement en l’essayant soi-même. En raison de leur nature autorégressive, les LLM ne peuvent pas construire en interne un modèle cohérent avant de répondre. Il existe des approches comme la chaîne de pensée, mais ce ne sont que des rustines qui ne traitent le problème qu’en surface.
Si c’est possible, ce serait quelque chose d’une importance scientifique très fondamentale, et probablement une nouvelle petite percée dans l’IA.
Ils se contentent de produire la séquence de sortie qui leur paraît la plus plausible après une séquence d’entrée. La manière dont on définit « la plus plausible » fait l’objet de nombreux travaux de recherche, mais optimiser pour l’exactitude factuelle est une toute autre affaire.
Dans certains cas, comme les problèmes de programmation, ils peuvent sembler intelligents, parce que le consensus approximatif des textes d’Internet pour certains prompts est assez proche des faits et moins pollué par du contenu médiocre de non-spécialistes. Ils sont aussi bons pour générer du « contenu » générique et moelleux, mais je ne vois pas bien quelle en est la valeur.
Au bout du compte, la qualité de l’information obtenue n’est pas meilleure que celle d’une recherche Google minutieuse ; elle est simplement plus rapide, plus concise et mieux présentée.
Je me suis fait avoir. L’annonce de lancement du modèle disait qu’il pouvait accepter des entrées multimodales vidéo et audio.
J’avais bien vu qu’il y avait beaucoup de montage et de coupes, mais je croyais vraiment voir des exemples d’entrées vidéo et audio. Passer du texte et des images fixes à des « yeux et des oreilles » représentait un énorme bond en avant, et j’étais complètement bluffé. Il y avait aussi une partie où il dessinait un instrument et où de la musique était générée, donc je pensais voir un modèle capable de créer de la musique à partir d’un prompt en langage naturel, comme certains modèles spécialisés.
Mais tout était faux. C’était une dramatisation d’exemples triés sur le volet de prompt engineering, assemblés pour maximiser l’enthousiasme des actionnaires. L’exemple musical n’a pas généré la musique que nous entendions dans la vidéo ; il a seulement produit une description du morceau.
Il y a une vraie différence entre une vidéo exagérée disant « ce genre de chose pourrait devenir possible » et le fait d’affirmer qu’un nouveau modèle multimodal est le meilleur, tout en manipulant les benchmarks et en trompant avec une démo.
Google semble être entré dans sa phase maléfique. OpenAI et Microsoft doivent être assez satisfaits.
Une démo prospective qui montre l’avenir du produit en indiquant clairement qu’on n’y est pas encore mais qu’on va dans cette direction, ou une démo scénarisée et montée pour présenter les fonctionnalités actuelles sous leur meilleur jour, sont des pratiques standard et acceptables.
Mais ce qu’a fait Google est tout simplement incorrect. Ils méritent les critiques à ce sujet.
On dirait même que les investisseurs veulent être trompés. Il n’y a pas vraiment de place pour une due diligence ; ils entendent des mensonges et poussent quand même des cris d’excitation comme des fans de Taylor Swift.
Ces grandes entreprises s’en tirent avec autant de choses que possible, aussi longtemps que possible. Cela laisse entendre que notre seul rôle serait d’attendre qu’elles nous accordent un jour une « phase non maléfique », alors qu’en réalité il faut restaurer les réglementations antitrust qui ont été systématiquement démantelées au cours des 30 dernières années.
Comme la quantité de données dans une vidéo est énorme, je m’attendais à ce qu’il extraie environ une image par seconde pour les traiter comme des images, tout en acceptant initialement la vidéo complète en entrée.
Il s’est avéré que ce n’était même pas ça.
Produire ce genre de vidéo exagérée pour satisfaire les actionnaires fait perdre confiance dans la division recherche. Je ne crois pas qu’ils aient fait ce genre de chose quand ils ont annoncé BERT.
J’utilise la saisie Swype depuis l’époque du T9
Si je faisais une démonstration de la saisie Swype telle que je l’utilise au quotidien à quelqu’un habitué au clavier QWERTY, personne ne l’adopterait
Le taux de mots mal devinés ou à corriger est probablement de 10 à 20 %. Mais ce n’est pas un problème, parce que c’est facile à corriger et que ça ne ralentit pas du tout. Parmi les différentes méthodes de saisie de texte, c’est personnellement celle que je préfère, mais il faut du temps pour apprendre à s’en servir
Je pense que c’est vrai pour tous les produits. Si, après 100 heures à en faire une habitude et à compenser les cas limites, on montre exactement comment ça fonctionne réellement, personne n’adopterait quoi que ce soit
Je ne sais pas vraiment quelle est la solution, car les deux sont mauvais
Édition : comme j’écris au Swype sur mon téléphone, je vais laisser les fautes de frappe telles quelles, vu le contexte
Ce serait comme une démo de clavier Swype avec du contrôle mental télépathique pour corriger les erreurs
Malheureusement, l’édition de texte sous iOS est elle aussi totalement inutile. Elle impose des sélections bizarres et insère le texte corrigé d’une manière maladroite
Je tape au QWERTY, mais la saisie de texte sur iOS est un désastre complet, et ça n’a fait qu’empirer avec le temps
Avec Swype, on sait déjà à quoi doit ressembler la bonne sortie. Si la sortie ne correspond pas à ce qu’on veut, on le remarque immédiatement et on corrige
Quand on pose une question à un LLM, on ne connaît pas forcément la bonne réponse. Si la sortie a l’air suffisamment assurée, les gens la prennent pour vraie. En dehors des expériences et des tests, les gens ne posent pas à un LLM des questions dont ils connaissent déjà la réponse
C’est aussi la principale raison pour laquelle la reconnaissance manuscrite n’a pas remplacé le clavier. Une fois l’écriture convertie en texte, il est plus facile de corriger les erreurs avec un pointeur et un clavier. Après quelques répétitions, la plupart des gens se disent : « autant commencer directement avec le pointeur et le clavier pour gagner du temps »
La question devient donc : à quel point est-il facile de repérer et de corriger les erreurs dans les sorties de l’IA générative ? Malheureusement, sauf quand on connaît déjà la réponse, il peut être très difficile d’identifier les erreurs
Les claviers Swype demandent de l’entraînement pour être maîtrisés, mais les démos de ce type de saisie montrent généralement un usage réaliste, même si la personne qui fait la démonstration est « experte »
Ce genre de démo amène les gens à mal comprendre ce que le produit peut réellement faire et finit par nourrir un inévitable retour de bâton cynique. Si le produit est vraiment excellent, une démonstration réaliste de ses fonctionnalités suffit pour que les gens s’en rendent compte
La page Bloomberg liée sur Twitter a maintenant été retirée.[1] La page de remplacement est [2], et la nouvelle page indique qu’une partie était fausse. Je n’ai pas réussi à retrouver l’ancienne page dans les archives
[1] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
[2] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
Je trouve que c’est un excellent exemple de la raison pour laquelle il faut remettre en question la confiance qu’on accorde aux vraies vidéos, aux audios, aux images et au marketing des entreprises, et les considérer comme générés tant qu’ils n’ont pas été vérifiés
Si la voix, les e-mails, les chats, et bientôt la vidéo, peuvent tous être générés en temps réel ou quasi réel, je me demande comment on pourra être certain qu’un employé à distance n’est pas en réalité une entité entièrement ou partiellement générée
Pour la vérification, un secret partagé est utile, mais quelle est la solution quand le corps est entièrement à distance ?
Je suis en voyage en ce moment : comment ma famille peut-elle vérifier que la personne qui envoie une demande Venmo en prétendant avoir perdu ses bagages, c’est bien moi ?
Le mensonge aura déjà fait le tour du monde avant que la vérité ne franchisse la ligne de départ, mais ce n’est pas une raison pour laisser faire
La vidéo elle-même et sa description comportent une clause de non-responsabilité en ce sens. Cela dit, je suis d’accord pour dire que certaines personnes peuvent repartir avec une mauvaise compréhension du fonctionnement de Gemini.
J’aimerais que l’interaction en temps réel fasse bientôt partie de l’application. Les barrières techniques ne semblent pas si nombreuses.
Ailleurs, ils ont bien révélé la plupart des détails, mais la vidéo elle-même a été conçue et montée de façon très trompeuse. Ils voulaient faire croire qu’il réagissait de manière complexe à une simple invite vocale et à un flux vidéo, alors qu’en réalité ce n’était pas le cas.
Ce n’est pas la même chose que « Gemini a reçu en entrée des images fixes sélectionnées, et non une vidéo ».
Cette vidéo a trompé beaucoup de gens, moi y compris. Ce n’était pas une de ces démos classiques ultra-optimisées et scriptées.
C’était une publicité mensongère évidente montrant une fonctionnalité qui n’existait pas, et franchement, c’est honteux de la part de Google.
Compte tenu des contenus générés par IA et du contexte général de manipulation, je considère que cette vidéo était trompeuse. Pour moi, la seule chose impressionnante dans la vidéo était la réactivité rapide et flexible qui donnait l’impression de traiter de la vidéo en temps réel, mais rien de tout cela n’était réel. C’est presque de l’arnaque.
Moi aussi, je me suis fait avoir : je pensais que Gemini voyait et entendait via un flux vidéo/audio, et non qu’il recevait des images fixes et des invites textuelles.
La différence entre des images fixes et un flux vidéo peut ne pas sembler énorme, mais en réalité, pour que le bot n’arrête pas de débiter des bêtises, il doit comprendre une grande partie du contexte qui évolue.
De plus, dans une conversation avec un flux vidéo en temps réel, il faut reconnaître l’état où l’on ne sait pas encore, afin de garder le silence au bon moment, ce qui est notoirement difficile pour l’IA générative.
Bien sûr, on peut rendre cela plus facile avec quelques hacks et heuristiques, mais faire en sorte qu’un bot ressemble à un partenaire humain dans une conversation est vraiment difficile. C’était la partie la plus impressionnante de la « conversation » dans la vidéo, mais malheureusement tout était faux :(