Snowden : ne faites jamais confiance à OpenAI ni à ses produits

 (twitter.com/Snowden)
1 points par GN⁺ 2024-06-16 | 1 commentaires | Partager sur WhatsApp
  • Snowden a publiquement averti qu’il ne fallait jamais faire confiance à @OpenAI ni à ses produits, dont ChatGPT
  • Le déclencheur direct de cet avertissement est la décision de @OpenAI de nommer le Director de @NSA/CSS à son conseil d’administration
  • Il affirme qu’il n’y a qu’« une seule raison » à cette nomination, sans toutefois en préciser la raison concrète dans son message
  • Il critique vivement cette décision, qu’il qualifie de trahison intentionnelle et calculée des droits de toutes les personnes dans le monde
  • Le message s’apparente à un bref avertissement et ne contient ni éléments supplémentaires, ni exemples, ni pistes d’action

Le contenu de l’avertissement de Snowden

  • Snowden dit de ne pas faire confiance à @OpenAI ni à ses produits
    • Il cite ChatGPT comme exemple
  • La décision qu’il met en cause est la nomination par @OpenAI du Director de @NSA/CSS à son conseil d’administration
  • Il considère cette nomination comme une décision qui trahit intentionnellement les droits de toutes les personnes dans le monde
  • Le message se termine par « You have been warned » et prend la forme d’un avertissement adressé directement au lecteur

À lire aussi

1 commentaires

 
GN⁺ 2024-06-16
Commentaires sur Hacker News

  • On peut être en désaccord avec Snowden comme avec Stallman, ou juger sa position extrême, mais l’ignorer complètement serait stupide
    En ce moment, pendant que la société et les législateurs dorment, une ruée vers l’or est en cours pour contourner le droit de propriété intellectuelle et exploiter les œuvres de milliards de personnes sans attribution ni compensation

    • Richard Stallman n’a jamais donné de raison de douter du fait qu’il agit par principe, enraciné dans le droit à la vie privée et la liberté individuelle
      Les véritables motivations de Snowden sont bien moins claires

  • Pas besoin que Snowden nous dise de ne pas faire confiance à OpenAI
    La première fois que j’ai entendu parler de cette entreprise, quelques mots m’ont suffi pour me donner l’impression d’entrer dans un parking de voitures d’occasion tenu par le type qui me harcelait au lycée

    • Cela dit, beaucoup de gens ont besoin que quelqu’un le dise
      Tu penses vraiment qu’il vaudrait mieux ne rien dire du tout ?

  • Il y a évidemment une raison légitime à l’entrée de Nakasone au conseil d’administration
    OpenAI est très sensible à la régulation, et dispose donc d’une grosse équipe de lobbying chargée d’orienter le gouvernement américain dans son sens. Il apporte (a) des connexions politiques et (b) l’assurance qu’aucune avancée ne menacera la sécurité nationale des États-Unis. C’est assez courant dans les conseils d’administration d’entreprise
    En pratique, ce qui a aujourd’hui beaucoup plus d’impact sur le monde que ce que l’IA peut réellement faire, c’est ce que l’on pense que l’IA peut faire

    • Ça me rappelle des gens comme Henry Kissinger qui siégeaient au conseil d’administration de Theranos
      Comment savoir si ces sièges au conseil ont une réelle importance, ou si ce sont juste des postes où l’on touche un salaire gratuit pour tout approuver ?
    • Exact
      En plus, il n’était pas seulement directeur de la NSA, mais aussi commandant de U.S. Cyber Command, ce qui est une expérience très pertinente à la fois pour la posture de sécurité et de sûreté d’OpenAI, et pour la vente à des clients gouvernementaux et de défense
    • Si on veut vendre au gouvernement, c’est aussi une bonne idée
    • Dans l’interprétation la plus charitable, ses relations pourraient aider à empêcher que le gouvernement n’impose une interdiction générale sur l’IA sans se baser sur les faits
      Mais je pense que, dans la tête de la plupart des gens, cette affaire sera perçue très négativement
    • Tu peux développer le passage sur le fait que “ce que l’on pense que l’IA peut faire” a plus d’impact que ses capacités réelles ?
      Quel impact cette perception a-t-elle, et quel impact l’IA réelle a-t-elle ?

  • Le même tweet dit aussi : “C’est une trahison délibérée et calculée des droits de chaque personne sur Terre”
    Ça me paraît un peu exagéré

    • Je ne connais pas les détails de ce cas précis, mais l’exagération est assez courante chez Snowden
      Je ne lui en veux pas trop. Il a traversé l’enfer. Mais ses déclarations sur Twitter ne me semblent clairement pas formulées de manière neutre
    • D’accord
      Les formules alarmistes peuvent aider à mettre une cause en avant, mais il faut les utiliser avec parcimonie si l’on ne veut pas passer pour le garçon qui criait au loup

  • Quand on voit ce genre de situation, le choix d’Apple d’intégrer ChatGPT d’OpenAI paraît encore pire
    Même avec des promesses de confidentialité, comme limiter les informations révélées et demander explicitement l’autorisation de l’utilisateur, ce qui s’est passé chez OpenAI ici et dans d’autres affaires devrait susciter de sérieuses inquiétudes chez la direction d’Apple
    Les plus hauts dirigeants d’Apple ont dit qu’ils commençaient avec ChatGPT parce que c’était le meilleur. Peut-être que ce partenariat n’existera même plus à la même époque l’an prochain

    • Ça me rappelle à quel point Steve était enthousiaste à l’idée d’intégrer Facebook et Twitter comme fonctionnalités de premier plan dans iOS
      La situation me semble beaucoup trop similaire à ce moment-là
      Et puis ça me fait repenser à quel point Siri est mauvais. OpenAI a soudainement mis Apple dans l’embarras, et Apple a désespérément besoin de ça pour avoir l’air compétitif dans ce domaine. C’est étrange et triste
    • J’ai eu l’impression qu’ils avaient conçu ça de manière flexible pour pouvoir y brancher d’autres modèles
      Si les options se multiplient, ils pourraient même laisser les utilisateurs choisir leur modèle
    • On pourrait utiliser Mixtral, Minstral, XWin, Mythomax, Claude 3 Haiku 196M
      Ils sont tous excellents, et la plupart ou la totalité sont meilleurs que Siri
      À mon avis, le mieux qu’Apple puisse faire serait de laisser les utilisateurs choisir quelle IA invoquer. Ils pourraient appeler ça un AI store, comme iTunes ou l’App Store. Les fournisseurs d’IA pourraient alors rivaliser sur la confidentialité et les performances. En revanche, il faudrait beaucoup de fonctions de comparaison pour que les utilisateurs puissent juger ce qui vaut la peine d’être choisi

  • Source : The Verge
    https://www.theverge.com/2024/6/13/24178079/openai-board-pau...
    https://news.ycombinator.com/item?id=40680962 - Former head of NSA joins OpenAI board

  • J’ai vraiment posé énormément de questions au chatbot sur de nombreux sujets, et il a prouvé sa valeur à plusieurs reprises
    Malgré ça, je ne lui fais certainement pas totalement confiance et je reste sur mes gardes, sans trop soupçonner non plus d’être surveillé dans le détail. J’ai juste du mal à imaginer un scénario où cela pourrait être utilisé contre moi
    Je serais prêt à payer davantage pour une meilleure confidentialité, et l’auto-hébergement m’intéresse aussi. Mais parmi mes 99 problèmes, celui-ci arrive assez loin dans la liste
    À l’époque, j’ai envoyé ma salive à 23andMe. Une partie de ces données a été volée et je figure probablement quelque part sur une liste de Juifs ashkénazes en vente. C’est désagréable. Pour l’instant, je n’arrive pas à imaginer dans quelle situation la surveillance des chatbots deviendrait un problème, mais c’est peut-être simplement que je manque d’imagination

    • Si tous vos amis, et les amis de vos amis, disent que le ciel est violet, seriez-vous assez audacieux pour affirmer qu’il est bleu, même si cela contredit votre observation ?
      Nous allons être immergés dans le feedback de l’IA, et tout le monde sera influencé par ses conseils. Les « sources » du genre Google m’a envoyé vers BuzzFeed, donc je sais que je lis un article médiocre, vont pratiquement disparaître. Tout prendra une apparence d’autorité simplement parce que ChatGPT l’a dit. Ce produit, c’est de la confiance. Poseriez-vous la même question à une brute malveillante en lui révélant des détails privés ? Non
      Même si vous avez l’impression de pouvoir vous en méfier à volonté, le flux des conseils de l’IA est comme l’eau, et nous sommes comme des poissons. Nous sommes déjà influencés, et si vous ne voyez pas comment, il faut regarder plus attentivement
    • C’est peut-être un sujet un peu différent, mais le vrai problème avec des services comme 23andMe n’est pas seulement qu’ils détiennent des informations sur l’ADN et les caractères qui sont irréversibles
      Désormais, ils obtiennent aussi des informations sur l’ADN et les caractères de toute une large partie de votre parenté, dans les deux sens de l’arbre généalogique. Utiliser ce genre de service, c’est essentiellement vendre sa famille, sans qu’elle ait le choix
    • Il est fort probable qu’OpenAI propose à l’avenir autre chose que des chatbots
      Dès maintenant, on peut déjà lui envoyer des fichiers à analyser
      Je ne pense pas que ce soit une coïncidence si Microsoft pousse Windows Recall auprès du grand public, cherche à conserver un index permanent des fichiers supprimés, pousse OneDrive comme emplacement de stockage par défaut pour les clients entreprises d’O365, et déverse des milliards de dollars dans OAI

  • Pour ceux qui ont Twitter bloqué, voici une citation de ce qui semble être le reste des tweets
    https://fortune.com/2024/06/14/edward-snowden-eviscerates-op...

    • Je n’ai pas bloqué Twitter, mais je ne peux rien y voir
      Environ 80 % du temps, je n’obtiens qu’une erreur générique et « réessayer »
    • À noter : cette page d’« article » affiche un avertissement indiquant qu’elle redirige vers x.com
      Il est temps d’ajouter une entrée à la liste de filtres
      J’ai cliqué sur le lien pour voir quel nouvel écran cassé ils allaient afficher au lieu du tweet. Curieusement, le lien de l’article fonctionne. Ça ne m’était pas arrivé depuis très longtemps

  • Il semble assez clair qu’il existe une forme de coopération entre OpenAI et le gouvernement
    Mais pourquoi cela pourrait-il être une si grave mauvaise chose ?

    • Probablement parce que leur historique n’est pas franchement très transparent, hehe

  • Encore un de moins
    Je l’ai ajouté à la liste, j’ai annulé mon compte payant, supprimé mes données, puis supprimé le compte aussi
    Il devient de plus en plus facile de prendre du recul vis-à-vis d’un service et de se demander s’il est vraiment indispensable. En principe, il ne l’est pas, et dès que cela devient une relation abusive, on peut le supprimer
    OpenAI n’a jamais été un gentil chien