Pourquoi l’arrivée de Copilot dans Excel est inquiétante
(simonwillison.net)- L’utilisatrice de TikTok Ada James(@belligerentbarbies) exprime ses inquiétudes face à l’introduction d’un copilote IA dans Excel
- Excel est comparé à « un monstre qui fait tourner notre économie », et « Brenda » apparaît comme celle qui a apprivoisé ce monstre
- Brenda est décrite comme une figure quasi divine d’Excel présente dans tous les services financiers des entreprises
- L’expression symbolique « la déesse d’Excel descendue du ciel a embrassé le front de Brenda » est utilisée
- Une comparaison volontairement exagérée suggère que c’est grâce aux efforts de Brenda que le capitalisme fonctionne
- Quand le supérieur essaie de modifier le rapport financier créé par Brenda, il utilise Copilot en pensant que l’IA sera plus intelligente que Brenda
- Mais l’IA gère mal Excel et ruine le rapport, sans que le supérieur ne s’en rende compte
- La raison : le supérieur ne comprend pas Excel, et l’IA hallucine
« Qui ne produit pas d’hallucinations ? Brenda. »
1 commentaires
Avis sur Hacker News
Il est intéressant de voir deux récits opposés sur l’usage de la technologie
L’un affirme que « les personnes comme Brenda font des erreurs, donc il faut de l’automatisation », et l’autre que « Brenda est parfaite, mais l’IA fait beaucoup d’erreurs »
En réalité, ce n’est pas contradictoire. Nous n’appliquons l’automatisation qu’aux tâches compréhensibles, à l’exécution fiable, aux processus observables et aux travaux répétitifs ennuyeux
Le problème apparaît quand l’IA ne remplit pas ces conditions. C’est surtout l’autonomie de l’IA qui suscite la crainte. À cause de cette angoisse de se dire : « Je ne sais pas pourquoi ce résultat est sorti »
C’est pour cela que les gens font encore davantage confiance à des IA à périmètre restreint ou à des IA avec garde-fous
Le code traditionnel produit toujours la même sortie avec la même entrée, alors que l’IA varie à chaque fois
Le problème, c’est cette opacité incompréhensible qui empêche de savoir pourquoi l’IA a agi ainsi
Si Brenda se trompe, on peut lui demander la cause et corriger ; avec l’IA, c’est difficile
Moi aussi, j’aime l’IA, mais j’en connais bien les limites
À l’inverse, l’IA générative est imprévisible
Si on classe la prévisibilité : Quick Sort > Brenda > Gen AI
Les tokens générés ne reflètent pas le processus de pensée humain
Les « étapes de raisonnement » produites par le modèle ne montrent pas son état interne réel, et les conclusions changent selon des biais invisibles
L’IA est difficile à vérifier, et sa valeur par rapport au coût reste floue
Au final, la vraie question est de savoir si la combinaison « Brenda + IA » est meilleure, ou si Brenda seule vaut mieux
L’IA actuelle en est encore au stade du « ce sera utile dans quelques années »
Dans notre organisation aussi, Copilot et l’IA ont été imposés dans la Microsoft Stack
La plupart des fonctionnalités étaient désactivées ou inutiles. Au final, ce n’est guère plus que du marketing pour soutenir le cours de l’action
En plus, l’entreprise interdit les bots IA de transcription de réunions. Parce qu’ils présentent un risque de sécurité
L’autocomplétion de VS Code ou l’interprétation des erreurs, c’est bien, mais tout ramener à une interface de chat, beaucoup moins
Ils devraient déjà améliorer la qualité de la reconnaissance vocale
Autrefois, chez l’entreprise d’un ami, il y avait un script Perl qui commitait chaque jour des données financières dans une base de données
Sans ce script, l’entreprise ne pouvait pas gagner d’argent. Une seule personne connaissait le mot de passe administrateur
Même si Copilot est excellent, il ne connaît pas ce mot de passe
Il tourne probablement encore aujourd’hui sur un Linux de 2008
C’était une phrase citée depuis une vidéo TikTok
Le MP4 a été récupéré avec yt-dlp puis transcrit avec MacWhisper
J’ai moi aussi essayé d’utiliser un LLM dans Excel, mais avec des données réelles il tombe immédiatement dans la confusion
Les démos montrent toujours des états financiers propres ou des exemples de manuel
Les vraies données d’entreprise n’ont rien à voir. Dans Excel, c’est presque inutile
Les Brenda que je connais ne se contentent pas de manipuler des feuilles de calcul
En réalité, elles font des choses complexes comme se coordonner avec les équipes opérationnelles, analyser l’impact des décisions ou gérer les exceptions
Copilot ne comprend absolument pas ce contexte. Si on lui demande un modèle de note de frais, il rend une feuille pleine d’erreurs #REF
Le mieux est de proposer directement des améliorations. Par exemple, créer un lien vers un classeur partagé pour que tout le monde l’utilise
Mais si on ne le met pas à jour régulièrement, le chaos revient
À chaque changement de processus, il faut se recoordonner, ce qui fait finalement revenir au manuel
Le problème du « j’ai peur que l’IA casse tout » peut être atténué avec une gestion de versions d’Excel liée à Git
Si l’on suit les formules ou modifications VBA générées par Copilot au niveau des commits, on voit clairement ce qui s’est passé
Brenda est devenue plus lente, mais grâce à cela elle sait comment faire tenir l’ensemble du système
Brenda perdra son emploi, et quelqu’un dans un autre pays en obtiendra un nouveau
Utiliser l’IA n’exonère pas de responsabilité
Il faut avoir assez d’expertise pour pouvoir vérifier les résultats de l’IA
Cela peut faire gagner du temps, mais le processus de vérification fait qu’on en gagne moins qu’on ne le pense
J’aime aussi Excel, mais les formules imbriquées complexes me semblent toujours difficiles
J’ai essayé des modèles comme ChatGPT ou duck.ai, mais ils proposent souvent des formules à côté de la plaque
Il faut demander plusieurs corrections avant que cela fonctionne enfin
J’apprécie que les LLM expliquent en anglais, mais au final cela m’a surtout fait perdre du temps et causé beaucoup de frustration
Au début, je pensais qu’ils rendraient Excel plus simple, mais maintenant j’ai la conviction que nous en sommes encore loin