- Microsoft a annoncé avoir détecté que des hackers chinois, russes et iraniens avaient utilisé ses propres outils d’IA pour améliorer leurs capacités de piratage
- Microsoft et OpenAI ont suivi l’usage des LLM par des acteurs liés à des États tels que Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon et Salmon Typhoon
- Schneier estime que la raison pour laquelle Microsoft ou OpenAI ont pu le savoir est la surveillance des sessions de chatbot
- Il est possible que les conditions d’utilisation incluent un tel droit d’observation, et des comportements d’usage similaires pourraient aussi être suivis sur d’autres services d’IA
- Les utilisateurs d’outils d’IA doivent évaluer leur niveau d’exigence en matière de sécurité en partant du principe que leurs entrées et leurs sessions peuvent être observées par le fournisseur du service
L’annonce de Microsoft et l’usage des outils d’IA
- Microsoft a annoncé que des hackers chinois, russes et iraniens avaient tenté d’améliorer leurs capacités de piratage à l’aide de ses outils d’IA
- Dans le contexte, l’outil d’IA en question semble être un outil de développement
Groupes d’attaque suivis avec OpenAI
- Microsoft a partagé des renseignements sur les menaces détectés en coopération avec OpenAI
- Selon le rapport, des groupes suivis comme acteurs liés à des États renforcent leurs opérations cyber avec des LLM
- Forest Blizzard
- Emerald Sleet
- Crimson Sandstorm
- Charcoal Typhoon
- Salmon Typhoon
Interprétation sur la surveillance des sessions de chatbot
- Schneier estime que la seule manière pour Microsoft ou OpenAI de savoir que ces attaquants utilisaient l’IA est de regarder les sessions de chatbot
- Il est possible que les conditions d’utilisation incluent une telle autorisation
- Outre Microsoft et OpenAI, d’autres fournisseurs d’IA pourraient également surveiller les comportements d’usage, et cette annonce est présentée comme un cas confirmant cette possibilité
Explication supplémentaire sur l’expression « spying »
- Une explication sur l’emploi du mot « spying » a été ajoutée lors d’une révision du 22 février
1 commentaires
Commentaires Hacker News
Pour appeler ça de l’espionnage, il faut relire les conditions d’utilisation de l’API OpenAI. Si on se dit « hacker » tout en continuant à utiliser cette API, c’est plutôt de sa propre responsabilité
OpenAI indique qu’il peut conserver en toute sécurité les entrées et sorties de l’API jusqu’à 30 jours afin de fournir le service et de détecter les abus, puis les supprimer de ses systèmes après 30 jours, sauf obligation légale de conservation. Pour les cas d’usage éligibles, il est aussi possible de demander le zéro conservation (ZDR)
Source : https://openai.com/enterprise-privacy
Par exemple, la politique de Google Docs dit sur https://support.google.com/docs/answer/10381817?hl=en : « Google respecte votre vie privée et n’accède à votre contenu privé qu’avec votre autorisation ou si la loi l’exige. »
Il est raisonnable d’attendre le même niveau des fournisseurs d’API LLM, et le fait qu’ils surveillent aujourd’hui les utilisateurs à grande échelle n’est pas acceptable
C’est encore plus vrai dans les services de machine learning et d’IA, et il est difficile de dire que ces conditions sortent vraiment de l’ordinaire
La reformulation en mode « Microsoft surveille les utilisateurs de ses outils IA » est amusante. En réalité, il s’agit du fait que Microsoft a découvert que des gouvernements hostiles de pays autoritaires utilisaient des outils IA pour des activités illégales, et ce suivi est explicitement prévu dans les conditions d’utilisation, que l’utilisateur doit accepter
Le prochain titre pourrait être : « Une grande chaîne de télévision surveille des footballeurs pendant un match de Ligue des champions »
Un titre provocateur est donc défendable, et ce n’est pas parce qu’une pratique est courante qu’elle devient acceptable. Que la prise de conscience s’élargisse sur le fait que ces conditions unilatérales permettent des comportements hostiles aux utilisateurs est plutôt une bonne chose
Mais le fait qu’une phrase comme « Microsoft surveille X » soit désormais reçue comme une proposition allant de soi ressemble justement à une information en soi. Dire « un espion surveille X » finit par signifier « Microsoft = espion », et pas seulement dans ce contexte, mais dans tous les contextes
À partir de là, les conditions d’utilisation, la légalité, l’illégalité, l’hostilité ou la bienveillance deviennent secondaires
Google Bard, enfin Gemini, l’indique très clairement sur sa page d’accueil
« Afin d’améliorer la technologie qui alimente les applications Gemini, vos conversations sont traitées par des examinateurs humains. N’entrez pas d’informations que vous ne souhaitez pas voir examinées ou utilisées. »
Il est aussi indiqué que le simple fait de discuter contribue à l’amélioration des services Google, y compris des modèles de machine learning qui alimentent Gemini, et que des examinateurs formés doivent traiter ces conversations dans ce cadre. Les contenus Google Workspace comme Gmail ou Drive ne sont ni examinés ni utilisés pour améliorer Gemini, et l’on peut désactiver Gemini Apps Activity afin que les futures conversations ne soient ni examinées ni utilisées pour améliorer les modèles de machine learning
Ici, cela ne semble clair qu’à moitié
On peut aussi simplement résumer par « Microsoft surveille ses utilisateurs »
Si vous utilisez un produit Microsoft récent, vous envoyez beaucoup de données, point final
Oui. Ils disent assez clairement qu’ils surveillent les abus, et la durée est de 30 jours
Je ne vois pas pourquoi ce serait surprenant
À côté de ça, Nvidia envoie au serveur toutes les valeurs des barres de titre et tous les clics, et même si on refuse, c’est quand même transmis car classé comme « nécessaire ». C’est probablement le spyware le plus intrusif de tout ce qui est installé en ce moment
Si l’on parle avec des outils IA via plusieurs canaux sociaux, par exemple Facebook, Twitter, Instagram, les SMS, etc., il faut partir du principe que ces échanges sont activement lus non seulement par les employés de l’entreprise, mais aussi par ses équipes marketing et ses partenaires externes
Bien sûr, ils sont probablement liés par contrat, mais les questions posées aux chatbots contiennent des informations de santé, des informations sexuelles, et des éléments extrêmement intimes qu’on ne dirait parfois qu’à un thérapeute. Et pourtant, tout cela peut aussi être lu par un stagiaire marketing de 22 ans, en texte brut non chiffré, copiable-collable, et potentiellement relié à un nom d’utilisateur ou un identifiant
Je ne fais aucune confiance à Microsoft, mais je ne suis pas plus surpris que lorsque j’entends qu’OpenAI, Google ou d’autres font la même chose
Cela ne le justifie pas pour autant. Il est temps que tous revoient leur position sur la vie privée afin que la lecture des conversations de chat ne soit possible que lorsque l’utilisateur donne une autorisation explicite et révocable
Les gens qui utilisent ce genre d’outils acceptent en quelque sorte que toutes leurs données soient aspirées. Si cela vous inquiète, la seule approche vraiment utilisable est une IA exécutée en local
L’IA est construite sur les données. Plus on surveille, plus on obtient de données pour entraîner l’IA ; plus on entraîne, meilleure et plus précieuse elle devient ; plus elle devient précieuse, plus de gens l’utilisent, et ils fournissent à leur tour des données : c’est une boucle de rétroaction
C’est un sujet facile pour provoquer de l’indignation
Toutes ces plateformes récupèrent déjà les entrées pour entraîner leur prochain modèle. Dans ce cas, pourquoi ne serait-il pas évident qu’elles fassent aussi de la détection d’abus ?