Soupçon de tentative de suicide de Microsoft

Nouvelle fonctionnalité de Microsoft : CoPilot+ et Recall

Résumé des points clés

• Propagation de l’IA :

  • L’actualité technologique récente se concentre sur la diffusion de l’IA (intelligence artificielle).
  • De nombreuses entreprises cherchent à ajouter de l’IA à leurs produits.

• Présentation de CoPilot+ :

  • CoPilot+ est un addon Windows de Microsoft basé sur un LLM (grand modèle de langage).
  • Il ressemble à Clippy, l’assistant du passé, mais utilise l’IA pour aider l’utilisateur dans ses tâches.
  • Cependant, en raison des limites des LLM, il est possible qu’il ne fournisse pas de réponses exactes.

• Processeurs ARM pour Windows :

  • Microsoft pousse Windows sur ARM afin de ne pas dépendre d’Intel.
  • Les nouveaux PC CoPilot+ embarquent de puissants processeurs ARM, conçus pour être adaptés aux tâches d’IA.

• Fonction Recall :

  • Recall est une fonctionnalité qui enregistre toutes les actions effectuées par l’utilisateur sur son ordinateur.
  • Elle prend des captures d’écran, extrait le texte via l’OCR (reconnaissance optique de caractères) et la reconnaissance vocale, puis le stocke dans une base de données.
  • Les données stockées ne sont pas chiffrées, ce qui peut poser des problèmes de sécurité.

• Problèmes de confidentialité :

  • La fonctionnalité Recall peut gravement porter atteinte à la vie privée des utilisateurs.
  • Les données stockées peuvent inclure des identifiants, des mots de passe et d’autres informations sensibles.
  • La base de données peut être réquisitionnée dans le cadre de procédures judiciaires, ce qui constitue un risque majeur pour les entreprises comme pour les particuliers.

• Autres problèmes :

  • Recall est susceptible d’enfreindre des réglementations sur la confidentialité comme le GDPR et l’HIPAA.
  • Microsoft prévoit d’intégrer de force cette fonctionnalité dans une mise à jour de Windows 11.

Avis de GN⁺

• Atteinte à la vie privée :

  • La fonctionnalité Recall peut gravement porter atteinte à la vie privée des utilisateurs. Elle représente en particulier un risque important pour les entreprises et les particuliers qui traitent des données sensibles.

• Vulnérabilité de sécurité :

  • Une base de données non chiffrée peut être facilement exposée à des hackers ou à des utilisateurs malveillants. Cela augmente fortement le risque d’incidents de sécurité.

• Problèmes juridiques :

  • Il est très probable que Recall enfreigne des réglementations sur la confidentialité comme le GDPR et l’HIPAA. Cela pourrait entraîner des litiges.

• Confiance des utilisateurs :

  • L’introduction de telles fonctionnalités par Microsoft peut sérieusement nuire à la confiance des utilisateurs. À long terme, cela peut avoir un impact négatif sur l’image de l’entreprise.

• Technologies alternatives :

  • Les entreprises qui accordent de l’importance à la vie privée des utilisateurs devraient envisager d’autres solutions que Recall. Par exemple, il peut être pertinent d’adopter des solutions de sécurité open source.

[GN⁺]

Avis sur Hacker News

• Même en mettant de côté les inquiétudes liées à la sécurité et à la confidentialité, Recall ne ressemble pas vraiment à une fonctionnalité IA
  Ce n’est pas simplement une architecture qui fait de l’OCR sur l’appareil, crée une base de données SQLite, puis permet de la rechercher ? Même avec la définition assez lâche de l’IA aujourd’hui, le lien ne me paraît pas évident. Est-ce parce que l’OCR repose sur de l’apprentissage automatique ? S’il y a un composant LLM dans Recall que j’ai manqué, je me demande s’il serait possible de créer un site de prompt injection qui indexerait des instructions malveillantes dans la base SQLite, pour qu’elles soient plus tard fournies au LLM

  • On dit depuis longtemps que chaque fois que des chercheurs en IA rendent quelque chose possible, cela passe de « science-fiction impossible » à « ce n’est pas de la vraie IA »
    C’est étrange de voir cette réaction en vrai. L’OCR aussi a longtemps été considéré comme impossible avec une qualité correcte, et c’est pour ça qu’on utilisait des CAPTCHA pour empêcher les bots de se connecter aux forums. Au début, c’était du texte, puis il est devenu de plus en plus déformé, au point d’être difficile à lire même pour les humains ; ensuite ce sont devenus des numéros de maison, puis « cliquez sur toutes les images contenant XYZ », avant de disparaître presque entièrement au profit d’analyses portant sur la position du curseur et les sites visités
  • Après avoir cherché moi-même, il semble qu’il y ait une certaine analyse sémantique au-delà du simple OCR, donc dans l’usage actuel assez large du terme, on peut probablement considérer cela comme une fonctionnalité IA
    L’indice vient de cette démo https://www.youtube.com/watch?v=aZbHd4suAnQ&t=1062s, où une recherche sur « blue pantsuit with sequin lace » retrouve un élément décrit dans le texte comme « peacock ». Cela ressemble à une recherche d’embeddings sur des embeddings d’images
    Et l’une des trois bases SQLite créées par Recall s’appelle « SemanticImageStore », ce qui laisse penser qu’un modèle d’embedding d’images de style CLIP tourne sur l’appareil. Cette base contient aussi une colonne « diskann », qui semble renvoyer à la bibliothèque d’indexation vectorielle de Microsoft https://github.com/microsoft/DiskANN
  • Dans la démo, on peut chercher « Blue bag » même si ces mots n’apparaissent pas à l’écran
    Par exemple, s’il y a un sac bleu sur une photo dans une diapositive PowerPoint, il le retrouve
  • Ils semblent utiliser une définition de l’IA proche de « problème que les ordinateurs ne savent peut-être pas résoudre »
    L’OCR était clairement considéré comme de l’IA avant que nous sachions comment le faire. Maintenant que nous le comprenons, c’est devenu « juste de l’informatique », mais même selon d’autres définitions de l’IA, il reste raisonnable de le voir comme de l’IA
  • Il y a probablement du RAG dedans

• Si Recall n’est pas encore totalement illégal dans l’UE, Microsoft est en train de faire une course de vitesse sans aucune limite entre son lancement et une loi d’interdiction à l’échelle de l’UE
  Je ne vois aucun scénario dans lequel l’UE autoriserait cela sur son territoire. La crainte tout à fait légitime d’un détournement par des conjoints violents suffit à elle seule comme justification politique. Il serait difficile de trouver un seul eurodéputé prêt à s’opposer à une loi présentée de cette façon, et les députés nouvellement élus accueilleront volontiers une victoire facile au milieu de dossiers complexes et difficiles

  • Pourquoi Recall devrait-il être illégal dans l’UE ?
  • Et si les citoyens européens veulent cette fonction ? Ils n’ont même pas le choix ?

• En plus des nombreuses erreurs logiques déjà signalées, j’aimerais en ajouter une autre
  Ce raisonnement suppose que l’avenir de Microsoft, c’est Windows. Depuis Satya, je ne pense pas que ce soit le cas. Une fois qu’on s’en rend compte, l’avenir paraît plutôt prometteur, indépendamment de la mauvaise implémentation d’une fonctionnalité de Windows

  • Alors quel avenir Microsoft propose-t-il ?
    Ce n’est pas Xbox : ils sont en train de perdre cette guerre, et c’était aussi basé sur Windows. Ce n’est pas le téléphone : ils ont déjà perdu, et là aussi c’était basé sur Windows
    Office est aussi en difficulté. Le besoin de suites bureautiques payantes diminue, et MS Office dans le navigateur est assez médiocre
    Ce pourrait être Azure, mais je pense que la grande rampe d’accès vers Azure consiste surtout à pousser les entreprises à migrer Active Directory et Exchange vers le cloud. Or la fin de Windows, c’est la fin d’Active Directory, et il existe des alternatives pour la messagerie et l’agenda dans le cloud. Si vous n’y êtes pas déjà à cause d’Exchange, Azure est-il vraiment attirant pour beaucoup de monde ?
    L’avenir peut être radieux, mais sans Windows à observer, comment le saurait-on ? ;p
  • Exact. Microsoft a plusieurs sources de revenus de plusieurs milliards de dollars, comme Office, Azure, Xbox, ses labels de jeux, etc., et la partie « cloud » de l’informatique est presque entièrement dominée par Linux, ce qui réduit l’incitation à investir dans Windows
    Avec des initiatives comme WSL, winget et sudo, il est clair que Windows évolue de plus en plus vers une enveloppe qui imite Linux en ligne de commande
    En 2000, Microsoft, c’était Windows 9x, 2000 et Office. En 2004, on téléchargeait des logiciels réservés à Windows depuis des sites web, mais en 2024, les logiciels réservés à Apple ou à Linux sont eux aussi courants
    À bien y regarder, « l’année du desktop Linux » a été MacOS pendant plus de dix ans. Par rapport aux frictions des chemins de fichiers Windows, de l’API Win32, etc., c’est presque une drogue d’initiation vers un Linux complet
  • Si l’on suit ce raisonnement, un système d’exploitation en déclin tourne donc sur 80 % des desktops et laptops dans le monde
    Je ne dis pas que c’est faux, et je suis d’accord sur le fait que Windows est vraiment passé au second plan chez Microsoft, mais c’est assez inquiétant
    À voir les nouvelles licences Exchange Server, on peut considérer sans trop se tromper que Microsoft veut sortir du logiciel on-premise aussi vite que possible. Reste à savoir si le monde est prêt à l’accepter, et si c’est ce que nous voulons
  • Oui. Windows est désormais presque un produit d’appel vendu à perte
  • Pour rendre Windows excellent, il suffirait de retirer toutes les saletés que personne n’a demandées
    Il y a un nombre absurde d’antipatterns douteux

• Même si Microsoft ou un autre FAANG faisait fuiter toutes nos données, je ne sais pas s’ils en paieraient vraiment le prix fort
  Quelle est la dernière entreprise qui ait vraiment « coulé » à cause d’un problème de sécurité des données ? Parmi les violations récentes de la sécurité des données, il y a Snowflake, AWS / Capital One

  • Tout le monde comprend que des fuites arrivent
    Le point essentiel ici, c’est que ce qu’on ne collecte pas ne peut pas fuiter. Recall représente des données bien plus nombreuses et bien plus sensibles que ce que Microsoft collectait auparavant
  • Snowflake a toujours dit de façon assez constante qu’il ne s’agissait pas d’une compromission de son système de base, mais d’erreurs de configuration chez les clients
    Ça rappelle le milieu des années 2010 chez AWS, quand certains systèmes étaient publics par défaut, et où d’innombrables « fuites de données » venaient simplement du fait que des entreprises n’avaient pas rendu leurs buckets de données privés
  • Ce qu’il faut, ce sont de lourdes amendes obligatoires pour toutes les fuites de données
    Par exemple, si l’on imposait de verser 10 000 dollars à chaque personne dont l’adresse a fuité, les entreprises commenceraient à traiter les données des consommateurs comme un risque, et non comme un actif à bas coût
  • Il ne faut pas oublier Equifax non plus

• On dirait que c’est plutôt leur serveur web qui s’est suicidé en premier

  • Version Web Archive : https://web.archive.org/web/20240605120547/https://www.antip...
  • En passant par le site de blog antipope.org depuis un ancien article, puis en allant vers le dernier billet, ça a chargé
    Ou alors le problème vient juste d’être corrigé

• Le dernier rapport trimestriel de Microsoft indiquait une hausse de 17 % du chiffre d’affaires, et l’action a gagné près de 25 % sur un an

  • Tant mieux. Mais ça n’aura pas beaucoup d’importance si les clients commencent à avoir peur de ce genre de choses et à refuser de faire affaire avec eux
  • Si je pouvais être vendeur à découvert sur l’activité systèmes d’exploitation de Microsoft, tout en restant acheteur sur son activité de fournisseur cloud et sur son investissement dans OpenAI, je le ferais
  • Dire que l’action a gagné près de 25 % sur un an, ce n’est pas dire qu’elle a simplement fait aussi bien que la moyenne du S&P 500 ? Pour un géant de la tech, je m’attendrais à mieux

• Microsoft n’est clairement pas en train de se suicider. Regardez à quel point cette fonctionnalité a attiré l’attention
  Tous les médias tech parlent de Windows, et Windows est soudain redevenu pertinent. En quoi est-ce un suicide ?
  Ceux qui se suicident, ce sont les clients Microsoft qui laissent cette fonctionnalité activée. Il faut informer les utilisateurs sur les risques de cette fonction et sur la manière de la désactiver

  • Si quelqu’un pointe une arme sur vous en disant « je tire dans 5 secondes », et que vous restez debout sans vous mettre à couvert puis vous vous faites toucher, ce n’est pas un suicide
    C’est peut-être une mort stupide, mais la personne qui a tiré a quand même commis un meurtre. Ça me semble être une assez bonne analogie avec la situation actuelle
  • Nous avons déjà dépassé la pente glissante, et nous avons même le vent dans les cheveux

• J’ai cherché sur HN sans retrouver, mais il me semble avoir déjà vu quelque chose de similaire à Recall
  Un outil de capture d’écran faisait de l’OCR/de la détection, mettait les données dans une base et les rendait consultables. C’était open source sur GitHub
  Cela dit, je suis partagé sur la question de la vie privée, mais d’un autre côté, on dirait que cela ramène ARM sur Windows, et ça je le soutiens

  • Peut-être ceci ? https://news.ycombinator.com/item?id=40538889

• Dans « nous savons depuis un moment que la technologie des modèles de langage dominera notre avenir », ce nous désigne les personnes dont les revenus dépendent de davantage d’investissements dans les LLM
  Pour tous les autres, les LLM semblent désespérément déficients comme solution générale à quoi que ce soit

• Je ne pense pas forcément que Microsoft soit en train de se suicider
  Je pense simplement qu’ils sont trop réactifs et pas assez proactifs. Autrement dit, ils semblent faire l’erreur de trop se concentrer sur l’anticipation des tendances technologiques, plutôt que de tracer leur propre voie et de créer des opportunités
  Bien sûr, sur certains marchés comme les outils pour développeurs, et peut-être Azure, ils tracent effectivement leur propre voie. Mais qu’est-ce que j’en sais, je ne suis qu’un programmeur idiot