- Slack ne développe pas de modèles d’IA générative avec les données clients, mais pour les modèles prédictifs comme les recommandations d’emojis ou de canaux, les messages, contenus, fichiers et informations d’utilisation peuvent être analysés
- Les modèles globaux sont conçus pour ne pas reproduire des portions de données clients, et des contrôles empêchent les employés d’accéder au contenu sous-jacent lors du développement IA/ML ou des analyses
- Les clients peuvent demander l’exclusion des données de leur espace de travail ou de leur organisation de l’entraînement des modèles globaux de Slack et continuer à bénéficier des modèles ML entraînés globalement après l’exclusion
- Les recommandations de canaux, les résultats de recherche, l’autocomplétion et les recommandations d’emojis fonctionnent en utilisant des modèles externes, des scores numériques, le nombre d’interactions passées ou des formulations publiques afin de réduire l’exposition des données clients
- Les fonctionnalités d’IA générative de Slack utilisent des LLM tiers, mais les données clients restent dans la frontière de confiance de Slack et ne sont pas utilisées pour entraîner des modèles d’IA générative sans opt-in explicite
Principes d’utilisation des données par l’IA/ML de Slack
- Les principes de développement produit de Slack sont centrés sur la confidentialité et la sécurité des données clients
- Le ML et l’IA sont utilisés comme outils pour améliorer le produit Slack
- Slack ne développe pas de modèles d’IA générative avec les données clients
- Pour développer des modèles prédictifs comme les recommandations d’emojis ou de canaux, les données suivantes peuvent être analysées
- Les données clients soumises à Slack : messages, contenus, fichiers, etc.
- Les autres informations définies dans la politique de confidentialité et les contrats clients : y compris les informations d’utilisation
Modèles globaux et contrôles d’accès
- Slack ne construit ni n’entraîne de modèles largement utilisés par l’ensemble des clients d’une manière qui permettrait de reproduire une partie des données clients
- Lors du développement de modèles IA/ML ou de l’analyse des données clients, les employés de Slack ne peuvent pas accéder au contenu sous-jacent
- Slack met en place plusieurs mesures techniques pour protéger la confidentialité et la sécurité des données clients
- Les clients peuvent choisir de ne pas autoriser l’utilisation de leurs données clients pour l’entraînement des modèles globaux de Slack via un opt-out
- Les données clients d’un espace de travail ayant exercé l’opt-out ne sont utilisées que pour améliorer l’expérience de cet espace de travail
- Les bénéfices des modèles ML entraînés globalement restent disponibles
- Les Org ou Workspace Owners, ou le Primary Owner, doivent envoyer l’URL du Workspace/Org à
feedback@slack.comavec l’objetSlack Global model opt-out request - Slack répond une fois la demande traitée pour indiquer si elle est terminée
Amélioration des services avec les données clients et autres informations
- Les équipes produit et analytics de Slack peuvent utiliser les données clients et d’autres informations pour développer, mettre à jour et améliorer les services
- Cette personnalisation et ces améliorations sont rendues possibles par l’étude et la compréhension de la façon dont les utilisateurs interagissent avec Slack
- Les obligations de confidentialité prévues dans les contrats clients de Slack et sa Privacy Policy s’appliquent à chaque scénario
- Les clients sont propriétaires de leurs données clients
- Slack agrège et sépare les données clients afin que, même lorsque des données clients sont utilisées pour mettre à jour les services, des tiers ne puissent pas identifier un client ou un individu spécifique comme source des améliorations
- Les affiliés ou sous-traitants ultérieurs de Slack font partie des exceptions
Méthodes de protection des données par fonctionnalité prédictive
-
Recommandations de canaux
- Slack peut recommander de rejoindre de nouveaux canaux publics au sein de l’entreprise
- Les recommandations reposent sur l’appartenance aux canaux, l’activité et le chevauchement des sujets
- Le modèle apprend à partir des recommandations passées et du fait que l’utilisateur a rejoint ou non un canal
- Un modèle externe, non entraîné sur les messages Slack, évalue la similarité des sujets et produit un score numérique
- Le modèle global effectue les recommandations uniquement à partir de ce score numérique et de données non clients
-
Résultats de recherche
- Le modèle ML de recherche aide les utilisateurs à trouver les informations voulues en identifiant les résultats adaptés à une requête donnée
- Il repose sur les résultats de recherche passés et l’historique d’engagement antérieur
- Le modèle est conçu pour ne pas pouvoir reproduire les requêtes de recherche ni les résultats
-
Autocomplétion
- Slack peut compléter automatiquement des requêtes de recherche ou d’autres textes
- Par exemple, si un utilisateur saisit les premières lettres de
Customer Support, Slack complète cette expression - Les suggestions sont effectuées localement et proviennent de formulations courantes issues de messages publics dans l’espace de travail de l’utilisateur
- L’algorithme qui sélectionne les suggestions potentielles apprend globalement à partir des complétions déjà proposées et acceptées
- Il utilise des règles qui attribuent un score à la similarité entre le texte saisi et la suggestion, et l’algorithme ne reçoit que des scores numériques et le nombre d’interactions passées
-
Recommandations d’emojis
- Slack peut suggérer des emojis de réaction en fonction du contenu et de l’émotion du message, de l’utilisation passée des emojis et de la fréquence d’utilisation des emojis par l’équipe dans un contexte donné
- Si la réaction 🎉 est fréquente pour des messages de félicitations dans un canal donné, Slack peut suggérer la réaction 🎉 pour de nouveaux messages positifs similaires
- Un modèle externe, non entraîné sur les messages Slack, peut classifier l’émotion d’un message
- Le modèle Slack suggère des emojis en ne tenant compte que de la fréquence à laquelle les messages d’une émotion donnée sont associés à un emoji donné dans cet espace de travail
Traitement des données clients dans l’IA générative
- L’IA générative est une catégorie de systèmes d’IA capables de générer des contenus comme du texte en réponse à un prompt saisi par l’utilisateur
- Cette catégorie inclut les grands modèles de langage (LLM)
- AI in Slack utilise l’IA générative et s’appuie sur des LLM tiers
- Sauf si le client donne explicitement son accord d’opt-in, les données clients ne sont pas utilisées pour entraîner des modèles d’IA générative
- AI in Slack utilise des LLM prêts à l’emploi ; ces modèles ne sont pas mis à jour avec les données clients après les requêtes et ne conservent pas les données clients d’une autre manière
- Ces modèles sont hébergés sur l’infrastructure de fournisseurs cloud comme AWS
- Les données clients restent dans la frontière de confiance de Slack, et les fournisseurs de LLM ne peuvent pas y accéder
- Les notifications de changement de sous-traitants ultérieurs sont disponibles sur la Trust and Compliance webpage
Sources des réponses de recherche de Slack AI
- La fonction de recherche d’AI in Slack puise ses sources de réponses dans les fonctionnalités internes de Slack et les documents connectés
- Les sources de recherche incluent les éléments suivants
- Fonctionnalités Slack : canvas, huddles canvas notes, clip transcripts, text snippets
- Fichiers importés dans Slack : PDF, e-mails, docx, pptx, Keynote
- Documents connectés depuis Google Drive : Docs, Slides
- Documents de Sharepoint/OnDrive : Word, Powerpoint
- Applications partenaires de stockage de fichiers comme Box : si elles sont installées
- Les utilisateurs doivent être authentifiés via l’intégration avec Slack pour accéder à ces fichiers
- Les administrateurs peuvent désactiver tous les résultats de fichiers ou configurer Slack pour ne pas utiliser comme sources les fichiers hébergés à l’extérieur
- Les indications associées sont disponibles dans le Help Center
1 commentaires
Avis sur Hacker News
J’ai contacté le support pour me désinscrire, et la réponse disait que la demande avait été traitée.
Slack explique disposer de modèles de machine learning au niveau de la plateforme, par exemple pour les recommandations de canaux/d’émojis et les résultats de recherche, mais affirme ne pas les concevoir ni les entraîner d’une manière qui leur permette d’apprendre, de mémoriser ou de reproduire les données client.
Slack AI est un module complémentaire vendu séparément ; Slack dit ne pas entraîner de LLM avec les données client et utiliser des LLM hébergés dans l’infrastructure AWS de Slack, de sorte que les données ne sont pas partagées avec des fournisseurs externes de LLM.
Liens vers les politiques : https://slack.com/trust/data-management/privacy-principles, https://slack.engineering/how-we-built-slack-ai-to-be-secure...
Enfin, seulement jusqu’à la prochaine mise à jour des conditions d’utilisation.
C’est probablement ce que tu as fait, non ?
Si le fonctionnement est : « vous pouvez vous désinscrire pour que vos données client ne soient pas utilisées dans l’entraînement des modèles globaux de Slack. Même après opt-out, les données du workspace ne servent qu’à améliorer l’expérience de ce workspace, et vous continuez de bénéficier des modèles d’entraînement globaux », je ne vois pas pourquoi qui que ce soit ne se désinscrirait pas.
Sauf, bien sûr, si l’on ignore qu’il faut le faire soi-même ; sinon, ça ressemble à une option qui n’a que des inconvénients.
Les utilisateurs individuels ne semblent pas avoir leur mot à dire sur l’utilisation de leurs données, et doivent contacter le Workspace Owner.
Si je dois le contacter, je vais plutôt lui demander d’examiner des plateformes alternatives.
Au final, ça devient un jeu de la taupe de l’opt-out : la méthode passe par une demande ordinaire, et même après opt-out on dirait qu’il y a toujours de l’entraînement.
Ils vont peut-être cacher un petit indice très discret vers la page 300 des conditions.
Si l’absence d’opt-out est vue comme une façon « d’aider à construire un meilleur produit », et que c’est déjà un produit que l’on paie, pourquoi ne pas le faire si cela peut améliorer la prochaine version sans effort supplémentaire ?
On obtient un meilleur produit au même prix, et l’entreprise obtient un produit plus facile à vendre.
Il se peut que l’entreprise gagne davantage dans l’échange, mais ce n’est pas parce qu’un côté gagne plus que l’autre perd.
Si l’on accorde beaucoup d’importance à la confidentialité des données, ou si l’on pense qu’autoriser l’entraînement crée réellement un risque d’exposition d’informations privées, c’est une autre histoire ; dans ce cas, il existe une option pour arrêter, et chacun peut arbitrer entre la valeur d’un « meilleur produit » et le « risque supposé d’exposition d’informations privées ».
La phrase « les modèles qui seront largement utilisés par tous les clients ne sont pas conçus ni entraînés de manière à pouvoir apprendre, mémoriser ou reproduire une partie des données client » contient tellement de nuances subtiles et de formulations de décharge qu’elle inspire plus de méfiance que de confiance.
Comme cela ne concerne que les modèles utilisés « largement par tous les clients », si un modèle n’est pas largement utilisé ou ne l’est que par certains clients, toute la phrase ne s’applique plus.
Logiquement, on dirait que cela implique que, dans ces cas-là, les données pourraient fuiter, ce qui est assez mauvais.
Cette formulation devrait être corrigée, et la personne qui l’a rédigée est un risque.
Cela revient à dire que les données client ne servent pas à entraîner « de cette manière » des modèles « largement utilisés par tous les clients », mais qu’elles contribuent bien à l’entraînement des modèles globaux.
Mais ce problème est plus gros pour nous que pour eux.
Si quelqu’un pose une question conversationnelle sur une situation très précise, des données confidentielles pourraient ressortir, même sans être attribuées au nom du client.
Rien n’empêche de demander à un LLM comment telle entreprise précise, ou une entreprise quelconque d’un secteur précis, concevrait quelque chose.
Ils disent que le modèle de recommandation de canaux apprend à partir des recommandations passées et du fait que les utilisateurs ont rejoint ou non les canaux recommandés, tout en protégeant la confidentialité en séparant les données client du modèle.
Ils expliquent qu’un modèle externe, non entraîné sur des messages Slack, évalue la similarité thématique pour produire un score numérique, puis que le modèle global recommande uniquement à partir de ce score et de données non client.
Pour la recherche aussi, ils disent ne pas entraîner sur les requêtes ni sur le texte des résultats lui-même, mais sur des informations contextuelles propres à l’équipe, comme le nombre de fois où un message a été cliqué dans la recherche ou le chevauchement de mots entre la requête et les messages recommandés.
Les suggestions d’autocomplétion proviennent d’expressions fréquentes dans les messages publics du workspace ; globalement, le système apprend à partir des complétions déjà suggérées et acceptées, mais l’algorithme n’utilise que des scores et des compteurs d’interactions passées.
Pour les recommandations d’émojis, c’est le même principe : un modèle externe non entraîné sur les messages Slack classe les émotions, puis le système ne prend en compte que la fréquence à laquelle, dans ce workspace, les messages associés à cette émotion sont utilisés avec tel émoji.
En résumé, pour exclure les données du modèle global, il faut faire un opt-out.
En même temps, ils disent de façon ambiguë que « les données ne fuient pas entre les workspaces », ce qui prête énormément à confusion.
Il faut utiliser des outils où les données « ne peuvent pas fuiter », pas où elles « ne fuiteront pas ».
La phrase « Lorsqu’il développe des modèles IA/ML ou analyse des données clients, Slack ne peut pas accéder au contenu sous-jacent. Diverses mesures techniques empêchent cela » est déroutante.
« Ne peut pas » est une formulation forte ; je me demande comment il est possible que le modèle d’IA puisse accéder aux données, mais que Slack, Inc. elle-même ne le puisse pas.
Si je n’ai rien manqué, cela ressemble davantage à « ne le fait pas » qu’à « ne peut pas ».
Il signifie probablement « les employés de Slack », mais « Slack » peut englober les actifs de l’entreprise, ses mandataires, ses systèmes, ses ordinateurs, ses serveurs, ses modèles d’IA, etc.
Même si Signal disait « nous ne pouvons pas accéder au contenu des utilisateurs », cela sonnerait comme une formulation fragile et optimiste.
Quand on entend « ne peut pas », on comprend que personne dans l’entreprise ne peut le faire dans un cadre légal.
Des employés de Slack peuvent désactiver ces mesures techniques, et des employés de Signal pourraient aussi, via une mise à jour de l’application, faire en sorte que tous les messages soient redirigés vers un autre serveur.
Une meilleure formulation serait : « Les employés de Slack n’accèdent pas au contenu sous-jacent ».
Dans ce cas, il semble très clairement que l’accès est possible.
Par exemple, un job batch d’entraînement de modèle peut s’exécuter en tant qu’utilisateur système ayant accès aux données annotées comme des « interactions », mais ne pas avoir le droit d’accéder aux données de « contenu » comme le corps des messages ou le texte des requêtes utilisateur.
Si le job d’entraînement envoie un RPC pour récupérer ce contenu, il est refusé, comme lorsqu’on tente d’accéder au DM de quelqu’un d’autre sans être connecté.
Dans une grande entreprise, un ingénieur ou un product manager ne décide pas arbitrairement des listes de contrôle d’accès ; il demande à un système d’accorder des droits d’accès à un job batch, et les personnes qui opèrent ce système suivent elles aussi les politiques de l’entreprise.
C’est un peu comme un employé de banque qui manipule des numéros de compte, mais ne peut pas transférer de l’argent en douce vers son compte personnel, ou se ferait prendre.
Cette phrase veut plutôt dire qu’il n’est pas possible, au niveau du système, qu’un PM Slack ignore les politiques pour améliorer les OKR de son équipe et entraîne secrètement un modèle sur des données clients qu’une autre équipe n’utilise pas.
Bien sûr, l’analogie n’est pas parfaite.
L’employé de banque ressemble davantage à un agent du support client Slack qui pourrait voir les messages au nom du client après consentement, et il est très probable qu’il n’existe en réalité aucun moyen de faire transiter l’accès limité accordé à une personne vers un job d’entraînement de modèle.
Dans une entreprise mature, il devrait aussi être impossible pour un employé d’entraîner un modèle sur un laptop quelconque avec ses droits d’accès personnels aux données, puis de déployer ce modèle en production.
Une startup pourrait fonctionner comme ça, cela dit.
C’est pareil pour Telegram ou WhatsApp.
Je me dis qu’il serait utile de tenir une liste des entreprises qui font ce genre de choses, afin de pouvoir les éviter.
Si vous connaissez d’autres entreprises qui entraînent sur les données clients sans bouton d’opt-out simple et très visible, ce serait bien de les ajouter ci-dessous.
Auparavant, il était indiqué que les informations obtenues via les demandes de support technique servaient uniquement à résoudre les problèmes, et que certains détails techniques pouvaient être utilisés pour générer des rapports de bug après suppression des informations personnelles.
La nouvelle formulation indique qu’après suppression des informations personnelles, certaines informations techniques peuvent être utilisées pour générer des rapports de bug, et que des informations techniques anonymisées peuvent être transmises à Microsoft Azure afin d’utiliser les services OpenAI pour améliorer l’expérience de support technique.
Ils disent exclure les informations permettant d’identifier une personne, comme le nom, le numéro de téléphone, l’adresse, l’e-mail, l’adresse IP ou le numéro de série du produit.
Avant, je supprimais simplement les e-mails de mise à jour de la politique de confidentialité, mais maintenant j’ai pris l’habitude de regarder le diff pour voir si ce genre de formulation y a été glissé.
L’incitation est trop forte pour y résister.
https://twitter.com/kepano/status/1688610782509211648
https://twitter.com/kepano/status/1682829662370557952
La liste est vide.
Je ne vois pas comment cela peut être compatible avec le droit européen à l’oubli.
En fait, je me demande lesquels de ces modèles d’IA peuvent respecter ce droit.
Si un utilisateur demande la suppression, réentraîne-t-on tout le modèle ? J’imagine que non.
Le droit d’auteur n’existe plus, on nous dit que ce n’est pas du vol mais de la transformation, qu’il faut opt-out avant que le modèle soit entraîné sur tout Internet, et même là, ils ne le feront probablement pas.
On affirme que les emplois ne diminueront pas du tout, pendant que toutes les entreprises licencient immédiatement 15 % de leurs effectifs, et imposent le retour au bureau pour récupérer encore plus de données automobiles.
On vend ça comme « l’étrange astuce » qui ferait de vous le programmeur productif ultime, mais on dirait surtout qu’ils essaient de le vendre aux particuliers plutôt que de créer eux-mêmes un produit rentable.
Le plus grave et le plus dangereux, c’est que l’information soit censurée au niveau le plus bas, avant même d’atteindre le bout des doigts ou les yeux des gens.
[0] https://ai.stanford.edu/~kzliu/blog/unlearning
D’après ce que j’en sais, si le modèle a déjà été entraîné, il n’est pas nécessaire de le supprimer à cause d’une demande au titre du droit à l’oubli, mais l’incertitude juridique est importante.
Au vu des décisions récentes sur le GDPR, le fait que ce soit de l’opt-out et non de l’opt-in signifie qu’il y a toujours de fortes chances que ce soit une violation.
Ils filtrent probablement toutes les données générées dans l’EEE.
Pour la messagerie d’équipe, il faut vraiment utiliser des solutions auto-hébergées comme Matrix/Element.
Ne pas vouloir mettre son propre matériel dans ses locaux, c’est compréhensible, mais la solution consiste à exploiter une solution chiffrée de bout en bout afin que l’hébergeur ne puisse pas accéder aux données.
cryptpad.fr est aussi un excellent logiciel.
Le principe est de récupérer le code source (Ruby on Rails) et de le déployer où vous voulez ; nous le faisons tourner sur un droplet DigitalOcean.
Slack, Google, Microsoft et tous les autres fournisseurs d’outils SaaS ont une incitation énorme à faire ce genre de choses.
Pour éviter que l’entreprise ne soit transformée en marchandise par ses fournisseurs, elle devra au bout du compte contrôler ses propres données et sa stratégie IA.
Cela veut probablement dire désactiver de petites fonctionnalités coûteuses et susceptibles de nuire à l’activité, construire une base de connaissances centrale avec de bons contrôles d’accès et une bonne gouvernance, puis y brancher n’importe quel LLM open source ou boîte noire de n’importe quel fournisseur.
C’est pour cela que je voulais que mon entreprise utilise Mattermost auto-hébergé au lieu de Slack.
Pour info, Windows 11 synchronise par défaut les fichiers vers les serveurs de Microsoft.
Ça risque de devenir quelque chose du genre : « On ne l’utilisera que pour choisir des émojis, et aussi un peu pour un outil interne amusant de recommandations boursières ».
Un outil qui recommande des actions intéressantes à acheter à partir des pensées anonymisées, en temps réel, de centaines de milliers d’entreprises tech.