Elsevier insère un hash unique dans les métadonnées PDF à chaque téléchargement (2022)

 (social.coop)
1 points par GN⁺ 2024-06-11 | 1 commentaires | Partager sur WhatsApp
  • Lorsqu’un PDF scientifique est partagé, la combinaison de métadonnées propres à chaque téléchargement et de l’heure d’accès peut servir à retracer l’origine, même pour un même article
  • La valeur d’identification peut être vérifiée avec exiftool, et les métadonnées de haut niveau peuvent être supprimées avec la combinaison exiftool + qpdf
  • Le PDF contient aussi des balises NISO indiquant la « final published version » (VoR) ainsi que des restrictions sur les domaines autorisés, et Elsevier scanne les PDF contenant ces métadonnées
  • Il semble que ces métadonnées restent présentes dans les articles obtenus via Sci-Hub, ce qui pourrait permettre d’identifier le compte académique utilisé pour télécharger l’article
  • Deux PDF portant des balises d’identification différentes se sont révélés identiques au diff après suppression des métadonnées et traitement avec qpdf --deterministic-id, mais il est difficile de généraliser l’absence de watermarking supplémentaire

Métadonnées PDF Elsevier différentes à chaque téléchargement

  • Les PDF Elsevier intègrent dans leurs métadonnées un hash unique pour chaque téléchargement
  • Si l’on télécharge deux fois le même article puis que l’on compare les métadonnées, on observe des valeurs différentes
  • Combinée à l’heure d’accès, cette valeur peut servir à identifier de quel téléchargement provient un PDF partagé

Outils utilisés pour vérifier et supprimer ces données

  • exiftool permet d’inspecter directement les métadonnées d’un PDF
  • Commandes pour supprimer les métadonnées de haut niveau :
    • exiftool -all:all= <path.pdf> -o <output1.pdf>
    • qpdf --linearize <output1.pdf> <output2.pdf>
  • Pour supprimer toutes les métadonnées, on peut utiliser dangerzone ou mat2
  • Outils associés :
    • exiftool : outil de lecture/écriture de métadonnées
    • qpdf : outil de traitement de PDF
    • dangerzone : outil GUI qui rend le PDF en images puis le repasse par OCR
    • mat2 : outil de suppression de métadonnées qui rend le PDF en images sans OCR

Script de nettoyage automatique et extraction des balises

  • Le script shell fourni recherche récursivement les PDF dans le répertoire indiqué ou le répertoire courant, puis en supprime les métadonnées
  • L’environnement visé est macOS et les systèmes de type Unix, avec qpdf et exiftool installés
  • Pour chaque PDF, il crée une version nettoyée suffixée par _clean.pdf, puis applique exiftool et qpdf --linearize
  • Ensuite, les balises correctement extraites et le code Python permettant de les extraire directement ont été ajoutés dans un gist
  • Au départ appelée « hash », la valeur extraite présente en fait un motif net, sans que l’on sache encore exactement ce qu’elle contient

Balises NISO et traces persistantes via Sci-Hub

  • Les métadonnées PDF incluent des balises NISO indiquant l’état du document
    • L’état du document est marqué comme « final published version » (VoR)
    • Des restrictions sur le domaine où le document est censé se trouver y figurent aussi
  • Elsevier scanne les PDF contenant ces métadonnées ; il faut donc les supprimer avant de partager une copie
  • Il semble que ces métadonnées soient aussi conservées dans les articles récupérés sur Sci-Hub
  • Si Sci-Hub télécharge les articles à l’aide d’identifiants académiques collectés, l’éditeur pourrait utiliser ces métadonnées pour repérer les comptes à fermer ou à protéger

Possibilité de watermarking supplémentaire et résultats de vérification

  • Il reste possible qu’un watermarking plus sophistiqué existe au-delà des métadonnées
  • Résultats de l’expérience menée sur deux fichiers portant des balises d’identification différentes :
    • suppression des métadonnées
    • relinéarisation avec l’option --deterministic-id de qpdf
    • les PDF obtenus étaient identiques selon diff
  • Ce seul résultat ne permet pas d’affirmer de manière générale qu’il n’existe pas de watermarking supplémentaire
  • Les métadonnées constituent un moyen d’identification particulièrement visible, car elles permettent de scanner rapidement de grands volumes de PDF

À lire aussi

1 commentaires

 
GN⁺ 2024-06-11
Avis sur Hacker News

  • On imagine l’énergie déployée pour retrouver des gens qui ont partagé des idées qu’ils n’ont ni créées ni financées, afin de les punir parce qu’ils n’ont pas payé
    Ce genre d’entreprise apparaît simplement comme un obstacle au progrès de l’humanité

    • En pratique, ce n’est pas si difficile, mais je suis d’accord sur le fond
      En plus, ce genre d’entreprise fait aussi payer aux auteurs des sommes absurdes pour des services supplémentaires comme l’impression d’images en couleur
      Dans un avenir lointain, j’imagine que les écoles et les universités présenteront ces entreprises comme des exemples de parasites sociaux
    • L’entreprise elle-même est moins le problème qu’un symptôme
      Le vrai problème, c’est selon moi le gouvernement, surtout celui des États-Unis, qui les aide à faire appliquer ce modèle économique en utilisant son monopole de la contrainte
    • Il faut aussi penser à l’énorme quantité d’efforts nécessaires pour écrire un livre
      Certains auteurs y consacrent plusieurs années, beaucoup au moins un an, et certains chercheurs passent des années sur un seul article
      Elsevier est aussi un partenaire qui participe de manière importante à la production et au financement de ce travail, et ses employés s’occupent de l’édition, de la composition et de la distribution
      Les auteurs sont eux aussi des partenaires dans ce processus, et beaucoup touchent des royalties d’Elsevier
      Pourtant, certains accumulent toutes sortes de raisonnements forcés pour justifier le piratage
      S’il existe des auteurs pauvres, il faut considérer que la copie illégale réduit leur capacité à vivre de la vente de leurs écrits
    • C’est drôle de voir que quand Elsevier veut faire appliquer le droit d’auteur, HN le traite comme le diable, mais que dès qu’il est question de données d’entraînement pour l’IA, tout le monde se transforme soudainement en guerrier ultra-rigoriste de la propriété intellectuelle
    • D’après ce que j’en comprends, ce n’est pas seulement la faute d’Elsevier ; le problème vient aussi du système dans lequel le gouvernement répartit les financements de recherche et les promotions en fonction du nombre de publications dans des revues Elsevier

  • Prendre des copies depuis deux sources différentes et comparer les hash avant de publier un document semble être une bonne habitude
    On peut intégrer des données partout : dans les images, les fichiers audio, les PDF, les programmes, etc.
    Au moins dans le cas d’Elsevier, il semble assez clair qu’une clé est utilisée pour suivre les utilisateurs

    • Au moins, il n’y a pas de bannière de consentement aux cookies dans les PDF
      On finira peut-être enfin par trouver une utilité à cette loi

  • Il existe DangerZone, un outil libre et open source utilisé pour retirer d’éventuels malwares des fichiers PDF, et il peut aussi supprimer les métadonnées
    C’est peut-être excessif pour un simple nettoyage de métadonnées, mais cela mérite d’être mentionné
    https://dangerzone.rocks/

    • Le problème ne se limite peut-être pas aux métadonnées
      Dans un PDF suffisamment long, il existe de nombreuses façons de cacher un identifiant 128 bits
      Un rectangle blanc sur fond blanc, quelques pixels très légèrement pas noirs par endroits, tout est possible
      Beaucoup de ces méthodes peuvent survivre même après impression puis numérisation

  • J’utilise un petit script pour nettoyer l’ensemble d’un PDF et aussi réduire sa taille
    Ça ressemble globalement à ceci
    pdftops -paper A4 -expand -level3 file.pdf
    ps2pdf14 -dEmbedAllFonts=true \
    -dUseFlateCompression=true \
    -dOptimize=true \
    -dProcessColorModel=/DeviceRGB \
    -r72 \
    -dDownsampleGrayImages=true \
    -dGrayImageResolution=150 \
    -dAutoFilterGrayImages=false \
    -dGrayImageDownsampleType=/Bicubic \
    -dDownsampleMonoImages=true \
    -dMonoImageResolution=150 \
    -dMonoImageDownsampleType=/Subsample \
    -dDownsampleColorImages=true \
    -dColorImageResolution=150 \
    -dAutoFilterColorImages=false \
    -dColorImageDownsampleType=/Bicubic \
    -dPDFSETTINGS=/ebook \
    -dNOSAFER \
    -dALLOWPSTRANSPARENCY \
    -dShowAnnots=false \
    file.pdf file.pdf
    On peut ensuite ajouter des métadonnées supplémentaires si nécessaire
    Ce n’est pas spécialement conçu pour supprimer certaines méthodes de traçage, mais dans la plupart des cas c’est simple et suffisamment utile

  • Il suffit de télécharger le PDF depuis Elsevier, de l’ouvrir dans son lecteur PDF, de cliquer sur imprimer, puis de choisir Print to PDF dans la sélection de l’imprimante

    • À l’étape 0, il faut désactiver l’enregistrement du Zone Identifier ou le supprimer avec un outil
      Ces informations ont de fortes chances d’être conservées lors de la copie du fichier, et selon les outils et les formats, elles peuvent même se retrouver dans une archive compressée puis être restaurées plus tard
      https://www.digital-detective.net/forensic-analysis-of-zone-...
      Parmi les plugins Total Commander, certains affichent aussi d’où un fichier précis a été téléchargé
      J’en ai plusieurs installés, donc je ne sais pas exactement lequel, mais c’est probablement celui-ci : https://totalcmd.net/plugring/ntfsstreamviewer.html
    • Télécharger le PDF chez l’éditeur, l’ouvrir dans le lecteur PDF, cliquer sur imprimer, l’imprimer sur du vrai papier
      Ensuite, rescanner les pages PDF imprimées, les assembler en document PDF avec convert et pdfunite, puis les compresser avec ghostscript
    • Même ainsi, toute stéganographie potentielle cachée dans le crénage, les couleurs ou l’interlignage peut rester intacte
    • On peut aussi télécharger le PDF depuis Elsevier, convertir les pages en images PNG, les regrouper dans un nouveau PDF, puis lancer un OCR
    • Cela risque de détruire complètement les balises et les informations d’accessibilité présentes dans le PDF
      À moins d’être absolument certain que c’est indispensable, il ne faut vraiment pas faire ça

  • Je laisse ça ici parce que c’est lié à ce sujet
    https://github.com/kanzure/pdfparanoia
    et
    https://github.com/firstlookmedia/pdf-redact-tools

    • Sur la page de pdf-redact-tools, il est écrit : « Warning: This project is no longer maintained. A much better tool is dangerzone. »
      Le lien vers DangerZone se trouve dans le fil Mastodon soumis à l’origine

  • Il faut créer des outils qui permettent de partager et d’ouvrir la connaissance de l’humanité

  • Le fait qu’Elsevier et d’autres entités du même genre puissent continuer à survivre, et que des gens paient réellement pour ce type de système parasitaire, mérite qu’on en cherche et analyse la cause profonde
    Quelques pistes possibles : le monde académique est au fond paresseux et n’a pas l’intention de corriger le système, il est tellement absorbé par la recherche que la qualité de tout ce qui n’est pas directement lié à son travail est médiocre, et il existe une structure d’incitations qui récompense ceux qui perpétuent ce système
    Y a-t-il d’autres pistes ?

    • Selon les domaines, la situation est contrastée
      Par exemple, les disciplines techniques se sont largement tournées vers les revues en open access, et cela fonctionne aussi bien pour la promotion des chercheurs
      Mais tant que des choses comme la titularisation dépendront d’une publication dans Nature, il sera difficile d’évincer Nature dans un avenir proche

  • Les métadonnées sont une cible très facile pour le watermarking de documents
    En général, les moteurs de rendu PDF rendent chaque copie unique en jouant sur l’espacement, le kerning, les caractères invisibles et toutes sortes de stéganographies
    Je doute de l’intérêt d’un hash ; en pratique, c’est probablement plutôt un code d’authentification de message mélangeant une valeur secrète et une copie unique
    Cela aiderait alors l’éditeur à identifier une copie nettoyée
    Avec deux copies ou plus, on peut réanonymiser, et je me demande si des modèles de langage de synthèse seraient utiles pour ce genre de tâche
    Bien sûr, on peut aussi introduire des altérations stéganographiques dans les figures
    Les PDF sont des documents sales, donc je les convertis presque toujours en texte brut, généralement sans perte de sens

  • Cette pratique est-elle légale dans l’UE ?

    • Elsevier est une entreprise néerlandaise détenue par une société britannique, donc j’imagine que ça ne pose pas vraiment de problème