Le web scraping pour moi, mais pas pour toi
(blog.ericgoldman.org)- Alors que les données publiques du web deviennent une ressource clé pour l’IA générative et la concurrence entre plateformes, la question de qui peut prendre les données devient un enjeu de droit, de contrat et de pouvoir de marché
- Les données que des plateformes comme LinkedIn ou Facebook cherchent à protéger sont en général du contenu généré par les utilisateurs, un domaine dans lequel la plateforme a du mal à revendiquer directement un droit de propriété
- Les moyens de réprimer le scraping sont passés de la trespass to chattels des débuts à la CFAA dans les années 2000, puis, après hiQ Labs v. LinkedIn, se sont recentrés sur les actions pour violation de contrat
- Comme dans le procès de Twitter/X contre Bright Data, les litiges récents se resserrent autour des conditions d’utilisation pour invoquer la violation de contrat, l’ingérence contractuelle et l’enrichissement sans cause
- Les entreprises peuvent bloquer les données de leur propre site en les qualifiant de “proprietary”, tout en cherchant à récupérer les données publiques des autres, et les affaires sur les données d’entraînement de l’IA générative seront le prochain test de cette contradiction
Le scraping est une question d’accès aux données
- Le web scraping est une manière d’acquérir à grande échelle des connaissances publiquement disponibles sur Internet, et l’enjeu central est de savoir qui peut accéder aux données et les utiliser, et à quelles fins
- Certaines données présentes sur Internet peuvent être protégées par le droit d’auteur, le droit des marques ou d’autres droits de propriété intellectuelle, mais pour beaucoup de données, l’acteur qui veut les protéger ne peut pas facilement faire valoir un droit de propriété intellectuelle
- Les entreprises de réseaux sociaux ont activement intenté des actions en justice contre le scraping, mais le contenu que LinkedIn et Facebook cherchent à protéger est généralement du contenu généré par les utilisateurs
- Les conditions d’utilisation accordent à la plateforme une licence d’utilisation sur les contenus des utilisateurs, mais l’intérêt principal en matière de droit d’auteur reste généralement entre les mains des utilisateurs
- Les plateformes nient dans leurs conditions disposer d’un droit de propriété sur ces données, tout en les traitant en pratique comme si elles leur appartenaient
Le déplacement des outils juridiques pour bloquer le scraping
- Aux débuts d’Internet, la théorie de la trespass to chattels a servi d’outil pour freiner le scraping
- L’idée était que des requêtes massives non désirées portaient atteinte à des serveurs informatiques, considérés comme des biens matériels privés
- Il fallait démontrer un dommage, et à la fin des années 1990 comme au début des années 2000, certains scrapers maladroits surchargeaient effectivement des sites ou les mettaient hors service
- Avec l’évolution de l’environnement technique, cette théorie a perdu en force persuasive
- La capacité des serveurs a fortement augmenté
- Beaucoup de scrapers limitent le volume de leurs requêtes au point d’être difficiles à détecter sur le serveur hôte, ou de n’avoir qu’un impact négligeable
- Il est devenu rare de pouvoir démontrer un dommage réel aux serveurs ou à un bien matériel
- Du début des années 2000 jusqu’en 2017, le Computer Fraud and Abuse Act (CFAA) a été le principal outil de dissuasion
- Le CFAA interdit l’accès non autorisé à un “ordinateur protégé”
- Dans les affaires de scraping, la question centrale était de savoir si l’accès, après retrait de l’autorisation via une mise en demeure ou des mesures anti-bot, devenait “non autorisé”
Les conséquences complexes de hiQ Labs v. LinkedIn
- De 2001 à 2017, une lecture simple dominait souvent : continuer à accéder à un site après retrait de l’autorisation pouvait engager la responsabilité au titre du CFAA
- L’affaire hiQ Labs, Inc. v. LinkedIn Corp. en 2017 a attiré l’attention parce qu’elle allait dans le sens de la reconnaissance du droit du scraper hiQ Labs à accéder aux données publiques de LinkedIn
- Le Ninth Circuit a estimé qu’il y avait un risque de monopole informationnel si une entreprise comme LinkedIn pouvait décider librement qui est autorisé à collecter et utiliser des données qu’elle ne possède pas, qu’elle rend publiques et qu’elle collecte et utilise elle-même
- Mais ce résultat s’est avéré proche d’une victoire à la Pyrrhus
- Par la suite, le tribunal de district a jugé que “le User Agreement de LinkedIn interdit clairement le scraping et l’usage non autorisé des données scrapées”
- Sur cette base, LinkedIn a obtenu contre hiQ Labs une injonction permanente et des dommages-intérêts
- Depuis, l’outil principal pour bloquer le scraping est devenu moins le CFAA que l’action pour violation de contrat
Le droit des contrats fonctionne de fait comme un droit de propriété sur les données
- Récemment, Twitter/X Corp. a intenté des actions contre plusieurs scrapers, dont Bright Data
- Bright Data est considérée comme l’une des plus grandes entreprises de web scraping au monde
- Les demandes formées par Twitter contre Bright Data portaient sur trois fondements : violation de contrat, ingérence contractuelle et enrichissement sans cause
- Il y a dix ans, dans les procès liés au scraping, il était courant que les demandeurs invoquent 10 à 15 fondements juridiques pour tester plusieurs théories, mais aujourd’hui la confiance grandit dans le fait que les tribunaux feront respecter les actions pour violation de contrat
- Dans cette configuration, les conditions d’utilisation en ligne permettent au site hôte de définir à sa guise les droits sur les données
- L’article de Mark Lemley publié en 2006 dans le Minnesota Law Review, Terms of Use, soutient qu’en passant du droit des biens au droit des contrats, l’étendue des droits du propriétaire du site n’est plus fixée par la loi mais par le propriétaire du site lui-même
- Les tribunaux ont ainsi permis un système dans lequel, au lieu de règles générales sur l’usage des données ou des règles classiques de propriété intellectuelle, les contrats en ligne fonctionnent comme une forme ad hoc de droit de propriété intellectuelle sur les données du site
- Cela dit, si la construction reproduit exactement la protection du droit d’auteur, elle peut poser problème
La double attitude des entreprises face au scraping
- Un système juridique qui utilise la violation de contrat comme un droit de propriété n’exige aucune cohérence
- Une entreprise peut affirmer avec force ce qui est “proprietary” sur son propre site
- Et soutenir en même temps, sur d’autres sites, quelles données peuvent être librement récupérées
- Microsoft a récemment mis à jour ses conditions générales pour interdire le scraping, le harvesting et les méthodes d’extraction similaires visant ses services d’IA
- Dans le même temps, OpenAI, société liée à Microsoft, a lancé GPTbot, conçu pour scraper Internet
- Les conditions d’utilisation d’OpenAI interdisent elles aussi le scraping
- LinkedIn, filiale de Microsoft, a revendiqué une victoire dans l’un des procès sur le web scraping les plus suivis aux États-Unis, obtenant une injonction permanente empêchant un ancien concurrent de scraper ou d’accéder de manière durable à des données publiques et non publiques
- Meta a elle aussi poursuivi une entreprise qui scrapait et revendait du contenu public, alors qu’elle avait par le passé payé ce même scraper pour collecter des données publiques
Les tribunaux et le prochain terrain d’épreuve
- Ces attitudes contradictoires ne sont pas seulement un problème des entreprises ; on reproche aussi aux tribunaux d’avoir permis une structure qui les rend possibles
- Les critiques visent notamment Register.com v. Verio, Inc., le Northern District of Texas qui a permis les litiges liés à Southwest Airlines, ainsi que les tribunaux qui, dans l’affaire hiQ Labs, n’ont pas expliqué l’incohérence entre l’injonction préliminaire fondée sur le CFAA et l’injonction permanente fondée sur la violation de contrat
- Si l’on permet à des entreprises privées d’inventer des droits de propriété intellectuelle via des contrats d’adhésion en ligne, alors les décisions sur l’accès aux données — qui devraient relever de l’intérêt public — risquent d’être dominées par des décideurs privés
- Comme les contrats, y compris les contrats en ligne, relèvent du droit des États, il est difficile d’imaginer une solution simple
- Parmi les pistes possibles figure une interprétation plus large de la préemption par le droit d’auteur, mais la doctrine actuelle en la matière est confuse en raison de divergences entre circuits, et la Supreme Court a récemment refusé de saisir une occasion de trancher
- Indépendamment de l’état actuel du droit, le prochain terrain d’épreuve sera celui des affaires sur les données d’entraînement de l’IA générative, et les incohérences juridiques dans ce domaine continueront probablement d’alimenter les débats
1 commentaires
Avis sur Hacker News
Je suis perdu sur l’état actuel de l’affaire HiQ contre LinkedIn. D’après ce que je comprends, LinkedIn a poursuivi HiQ, la cour d’appel du neuvième circuit a donné raison à HiQ, LinkedIn est allé jusqu’à la Cour suprême, mais celle-ci a annulé et renvoyé l’affaire en citant Van Buren, puis la cour d’appel du neuvième circuit l’a réexaminée et est arrivée à la même conclusion.
Ensuite, LinkedIn a obtenu la levée de l’injonction provisoire qui lui interdisait de bloquer HiQ, et en novembre 2022, après une décision mitigée, l’affaire semble finalement s’être terminée par un accord confidentiel. Tout le monde cite souvent cette affaire, mais sans vraiment entrer dans les détails.
En lisant le résumé du jugement de novembre 2022, il semble que le point en litige était que HiQ faisait se connecter des personnes, ce qui rendait les conditions d’utilisation applicables, et qu’au final le tribunal a semblé accepter l’argument de LinkedIn selon lequel HiQ avait violé les conditions d’utilisation de LinkedIn.
https://www.natlawreview.com/article/court-finds-hiq-breache...
La demande antitrust de hiQ a échoué au stade de la requête en rejet, et à peu près entre-temps hiQ a cessé ses activités, mais un soutien fortuné a continué à payer les frais de justice. LinkedIn a poursuivi d’autres demandes, notamment pour rupture de contrat, et a gagné sur une requête en rejet ; la Cour suprême a renvoyé l’affaire devant la cour d’appel du neuvième circuit après Van Buren, et celle-ci a de nouveau donné raison à hiQ sur la question du CFAA.
Ensuite, l’injonction provisoire a été levée, hiQ a presque entièrement perdu au jugement sommaire, puis a finalement capitulé en acceptant une injonction permanente reprenant la plupart des demandes de LinkedIn et en versant 500 000 dollars à LinkedIn.
Le problème empire de jour en jour avec la multiplication des « contrats » sous forme de conditions d’utilisation, et le fait qu’il soit devenu presque impossible de vivre dans la société moderne sans y consentir. Même acheter un nouveau SSD s’accompagne désormais de l’acceptation de conditions.
La loi compte de moins en moins, et nous sommes de plus en plus régis par des contrats d’adhésion imposés unilatéralement par de grandes entreprises.
Si c’est un panneau publicitaire, alors repeindre par-dessus les parties qui ne me plaisent pas, autrement dit utiliser un bloqueur de publicité, est moralement répréhensible. Ceux qui possèdent la page web préfèrent ce point de vue, car ils veulent garder le contrôle, et ceux qui ne peuvent pas modifier l’apparence de la page, comme les utilisateurs ordinaires, l’acceptent généralement aussi.
Si c’est une brochure, je suis libre de la découper et de la réorganiser comme je veux. Techniquement, c’est plutôt cette vision qui est juste. Une page web n’est que quelques bits d’information qui m’ont été transmis, et tant que je contrôle mon ordinateur, je peux découper ces bits et les voir de la manière que je veux.
On peut dire qu’Amazon.com contient les pages web d’Amazon et qu’Amazon possède ces pages. Mais je n’ai toujours consulté Amazon.com que sur mes appareils, qui n’appartiennent pas à Amazon, ou sur ceux d’autres personnes. Amazon.com n’existe pas sur un panneau publicitaire ; il a besoin d’appareils électroniques appartenant à d’autres. Dès lors, quels droits le propriétaire de ces appareils a-t-il ? À partir de quel moment les pixels sur mon écran deviennent-ils votre espace protégé ?
Pour lire le contrat, on vous dit de scanner un QR code avec votre téléphone. J’ai vu quelque chose de similaire dans un parc : en entrant, vous seriez lié par un accord juridique vous empêchant de poursuivre le parc ou vous obligeant à respecter les règles affichées.
On pourrait payer chaque mois une organisation comme une association de clients ou une assurance, soutenue par une équipe juridique. Ce contrat serait aussi exécutoire, ou inexécutoire, que celui de l’entreprise, ce qui rétablirait l’équilibre. On n’aurait alors plus besoin de lire ce que l’entreprise a écrit en petits caractères.
Si l’entreprise n’accepte pas le contrat du client ou ne permet pas de contourner ses propres conditions, il suffit de partir. La transaction n’a pas lieu, et une autre entreprise récupère le client.
L’impression d’hypocrisie disparaît en partie si l’on voit cela comme de la concurrence, et non comme une communauté coopérative ou égalitaire. En réalité, c’est bien de la concurrence. On ne dirait pas à une équipe de football : « Ça va quand tu essaies de me marquer un but, mais dès que moi j’essaie d’en marquer un, tu te mets soudain à bloquer le ballon ? »
Évidemment, ils diront « le web scraping consomme des ressources, donc arrêtez », tout en continuant eux-mêmes à faire du web scraping en coulisses.
C’est clairement un mauvais comportement, mais je ne pense pas que ce soit hypocrite. Cela correspond parfaitement à des entreprises immorales, en lutte permanente, qui cherchent à maximiser leurs propres intérêts et à minimiser ceux des autres.
En revanche, essayer d’empêcher un comportement donné par des moyens juridiques, c’est plutôt comme demander à l’arbitre d’interdire un certain type de jeu tout en le pratiquant soi-même. Cela arrive souvent aussi dans le sport, mais c’est généralement perçu comme de l’hypocrisie.
Bien sûr, les scrapers peuvent aussi être pénibles. Ils peuvent marteler paresseusement un serveur sans fin, ou télécharger par erreur le même contenu en boucle. Mais il n’y a pas besoin d’un procès pour cela. Si cela atteint le niveau d’une attaque par déni de service, le droit existant permet déjà de le traiter.
Si certaines entreprises rendent tout le monde moins bien loti tout en ne faisant qu’enrichir elles-mêmes, il faut se redemander si l’on doit continuer à leur accorder les privilèges de la personnalité morale. Nous n’avons pas besoin d’autoriser des parasites et des prédateurs à prendre ce qu’ils veulent à nos frais.
Même s’ils le font de manière immorale et par malveillance, cela reste de l’hypocrisie. Plus encore, justement. Ce qui compte, c’est la politique qu’ils défendent ; ne pas y croire sincèrement ne les en exonère pas.
Je ne vois pas pourquoi cela montrerait de l’hypocrisie. Il y a une grande différence entre crawler le Web accessible publiquement et scraper une application web ou une API authentifiée. Les moteurs de recherche légitimes crawlent constamment le Web public.
Et dans le même temps, ils interdisent aux autres de faire ce qu’ils ont eux-mêmes fait.
La comparaison avec les moteurs de recherche est différente. Les moteurs de recherche raclent le Web public pour créer un index de recherche, puis utilisent cet index pour fournir des résultats de recherche et des publicités. L’important, c’est que les résultats de recherche renvoient généralement les gens vers les sites web qui ont été crawlés, donnant à ces sites une occasion de gagner de l’argent.
Je vois deux problèmes. Le web scraping est clairement un problème de modèle économique, et cela tient en partie à l’échelle.
Si vous proposez du contenu gratuitement en comptant le financer par la publicité, dès que quelqu’un d’autre capte la valeur de ce contenu sans voir les publicités, ce modèle commence à s’effondrer. Les bloqueurs de publicité, les réponses intégrées dans les résultats de recherche Google, les clones de Stack Overflow ou ChatGPT en sont des exemples.
L’autre problème est celui de l’échelle, et je ne sais pas comment le résoudre. Quand un gouvernement adopte une politique bienveillante autorisant l’usage d’une pelle dans un parc, il peut imaginer que cela sera utile à des gens comme des campeurs. Mais si une équipe professionnelle d’exploitation minière à ciel ouvert arrive, l’histoire change.
Pour un site qui fournit gratuitement de bonnes informations et gagne de l’argent grâce à la vente de livres ou à des services professionnels, cela peut être un gagne-pain correct. Même si une réponse se retrouve dans un encadré de réponse Google, il faut encore aller lire le site pour des contenus plus complexes ou des analyses, et cela peut créer une audience.
Mais si quelque chose comme ChatGPT peut « lire » mes textes et redistribuer 80 % de leur valeur sans même que la source soit connue, c’est fini. Le modèle économique ne fonctionne plus. Tous les modèles consistant à partager gratuitement de bonnes informations échouent. C’est le même problème que celui que rencontrent les artistes aujourd’hui.
Je ne vois pas comment corriger cela sans une forme d’interdiction. Mais tant que tous les pays ne l’appliqueront pas, il faudra s’aligner sur le plus petit dénominateur commun, et au bout du compte verrouiller tout le contenu. Plus de recherche web, plus de réponses Google, plus de ChatGPT. Écrire « merci de ne pas scraper » dans robots.txt ne fonctionnera pas.
Le droit d’auteur est une tentative de protéger le modèle économique d’auteurs qui veulent vendre quelque chose de très facile et peu coûteux à copier. Les tentatives de limiter juridiquement le web scraping cherchent à protéger le modèle économique de créateurs qui donnent gratuitement quelque chose de facile et peu coûteux à copier, mais veulent que l’on vienne impérativement chez eux pour obtenir cette copie gratuite.
Par conséquent, nous devrions aussi pouvoir utiliser des services GPT pour entraîner nos propres modèles, ou scraper tout ce qui est accessible publiquement. Notre seule défense est un service concurrent qui transforme les données mieux que n’importe quel grand modèle de langage généraliste. La solution est presque toujours la concurrence loyale, pas la réglementation.
Une fois les données obtenues, elles peuvent être redistribuées. Si les republier telles quelles constitue une violation du droit d’auteur, il suffira de les brouiller en les cachant derrière une IA pour contourner largement le problème.
Si les bibliothèques de prêt gratuites et les index de recherche web n’avaient pas existé et qu’on essayait de les créer aujourd’hui, ils seraient totalement détruits par des procès.
Le principal fondement sur lequel reposent ces affaires est une compréhension floue de l’accord contractuel. Mon avis tient en deux points. L’EULA n’est pas un document que les entreprises font signer, et je pense qu’à la base, les EULA sont de la camelote.
Ils sont totalement unilatéraux, et la plupart seraient illégaux ou ne tiendraient pas devant un tribunal si quelqu’un avait réellement les moyens de les contester.
À mon avis, il devrait incomber à l’entreprise qui l’a rédigé de garantir que l’EULA a été lu et compris ; si elle ne peut pas prouver, avant l’accès au site, que la personne a entièrement compris l’EULA, il ne devrait pas être exécutoire. Un EULA n’est pas un contrat commercial. C’est une sorte de pseudo-droit d’entreprise que la société essaie d’accoler à l’utilisation d’un produit.
Quel produit, dans le monde réel, est livré avec une aussi longue liste de règles d’utilisation, assortie de la menace d’un procès si on les enfreint ?
Donc, si l’on revient au « scraping d’entreprise à entreprise », si vous avez mis quelque chose sur le web et que ce contenu n’est pas réellement protégé par un droit d’auteur, c’est-à-dire s’il n’a pas été créé par vous, vous n’avez pas le droit de le protéger contre le « vol ».
Bien sûr, je sais que John Deere empêche ses clients de réparer leurs propres tracteurs, mais c’est aussi du grand n’importe quoi.
L’affaire Register.com contre Verio citée en lien était intéressante. Je pense que le tribunal a rendu une décision plus nuancée sur les contrats de type conditions générales qu’on ne le dit souvent.
Dans cette affaire, Verio a appelé l’API de Register à des fins que Register interdisait. Mais Register ne fournissait le texte du « contrat » énonçant ces restrictions qu’après la fin de l’appel. Il faisait sans doute partie de la réponse de l’API.
Le tribunal a effectivement estimé que c’était trop tard. Si le seul moyen de connaître les conditions d’un appel d’API est d’appeler cette API, il s’agit d’un contrat sous film plastique, et les conditions sont nulles.
Toutefois, le tribunal n’a appliqué ce raisonnement qu’au premier appel d’API. Verio avait des employés dont on pouvait attendre du bon sens, et après le premier appel, ils avaient eu l’occasion de lire le texte et de prendre connaissance des restrictions. Par conséquent, pour tous les appels d’API suivants, les employés de Verio savaient qu’ils faisaient quelque chose que Register interdisait explicitement ; le tribunal y a donc vu une violation du contrat.
Le point important est que le tribunal n’a pas abandonné le principe selon lequel, pour conclure un contrat, une personne doit connaître ses conditions. Cette affaire ressemble plutôt à un rejet d’une situation où l’on connaît en réalité les conditions tout en faisant semblant de les ignorer.
[1] https://en.m.wikipedia.org/wiki/Register.com_v._Verio
Le cas de l’Allen Institute discuté la semaine dernière en est un bon exemple.
https://news.ycombinator.com/item?id=37181415
Ils ont « publié » un jeu de données constitué en scrapant des documents du domaine public, en y ajoutant une licence limitant la manière dont les gens peuvent l’utiliser.
Dire que « le contenu qu’ils cherchent à protéger n’est pas le leur, mais celui des utilisateurs » n’est vrai que dans une certaine mesure. Facebook dit que le contenu appartient aux utilisateurs. Cela leur permet d’expliquer plus facilement qu’ils ne sont pas responsables lorsqu’il y a du contenu illégal.
Mais les utilisateurs acceptent aussi d’accorder à Facebook « une licence mondiale, non exclusive, transférable, sous-licenciable, libre de redevances, pour utiliser tout contenu de propriété intellectuelle que vous publiez sur Facebook ou en lien avec Facebook ».
Par exemple, même si un utilisateur supprime son propre contenu, Facebook peut toujours l’utiliser et le montrer à ses amis. C’est pourquoi je dis « dans une certaine mesure ».